كيف تختار قاعدة بيانات متجهية حين تملك 50,000 مستند، لا 50 مليون
كل اختبار أداء لقواعد البيانات المتجهية ستقرأه تقريبًا يجرّب عشرات الملايين من المتجهات. هذه ليست مشكلتك. عند 50,000 مستند — وهو الحجم الحقيقي لعيادة أو مكتب محاماة أو وساطة عقارية في الإمارات — يكون محرك قاعدة البيانات آخر ما قد يبطئك. ما يحدد فعلًا ما إذا كان نظام RAG لديك سيجد الإجابة الصحيحة هو نموذج التضمين، وكيفية تقطيع بياناتك، والمكان الذي تقيم فيه تلك البيانات فعليًا. موقفي واضح لا لبس فيه: استضف بنفسك على أرض الإمارات، وتجاوز خيارات السحابة المُدارة كليًا. فهي تحمل مخاطر امتثال أكبر بكثير مما توحي به صفحات أسعارها، وعند هذا الحجم لا تقدّم لك شيئًا.
الحجم يغيّر طبيعة السؤال
حين تقرأ أن Qdrant تتعامل مع 100 مليون متجه بزمن استجابة دون المللي ثانية، فضع ذلك الرقم جانبًا. لا علاقة له بك. عيادة جلدية في دبي بخمس سنوات من نماذج موافقة المرضى، ومكتب محاماة من ثلاثة شركاء بملفات قضاياه، ووساطة عقارية تحتفظ بكل سجل عرض ومعاملة: هذا 40,000 إلى 80,000 مستند كحدٍّ أقصى.
عند هذا الحجم، تُعيد كل قاعدة بيانات متجهية في السوق نتائجها في أقل من 100 مللي ثانية بكثير. ويتسع فهرس HNSW في pgvector بسهولة داخل 1 إلى 2 GB من الذاكرة، على خادم يكلّف AED 75 شهريًا. المحرك ليس قيدك.
ما يحدد جودة الإجابة فعلًا هو ما إذا كان نموذج التضمين لديك قد فهم الاستعلام والمستندات بالطريقة نفسها. استراتيجية تقطيع مضبوطة جيدًا على 50,000 مستند ستتفوّق على أخرى مهملة على 5 ملايين، في كل مرة. فالسؤال الحقيقي ليس أي محرك يتوسّع ليبلغ حِمل Google. بل أي خيار يندمج بنظافة في بنيتك التحتية القائمة، ويُبقي بياناتك على أرض الإمارات، ويبقى بسيطًا بما يكفي ليصونه فريقك بنفسه دون الحاجة إلى متخصص متاح عند الطلب.
أربعة خيارات، ولماذا يخلق اثنان منها مخاطر امتثال
يُعدّ pgvector امتدادًا مجانيًا لـ PostgreSQL، مرخّصًا بترخيص MIT، مع فهرسة HNSW منذ الإصدار 0.5.0 وبنى حالية عند 0.8.x. إن كنت تشغّل Postgres أصلًا، وهو ما تفعله معظم الشركات الصغيرة والمتوسطة الإماراتية ذات البنية البرمجية الجادة، فإن إضافة pgvector هي مجرد أمر ALTER EXTENSION. لا نظام جديد تشغّله، ولا شيء جديد يمكنه أن ينكسر. ومستضافًا ذاتيًا على خادم VPS داخل الإمارات أو على جهاز في مقرّك، يلبي متطلبات قانون حماية البيانات الشخصية الإماراتي دون أي التواء.
أما لمشروع جديد من الصفر، فاختر Qdrant (ترخيص Apache 2.0). تأتي جاهزة بالبحث الهجين، والتكميم العددي، وتصفية الحمولة الغنية دون أي إعداد، ويتعامل نموذج Docker بمعالجين افتراضيين و4 GB ذاكرة مع 50,000 إلى 500,000 متجه دون أي ضبط على الإطلاق. أما Chroma فهي ألطف نقطة انطلاق في Python، لكن كن صريحًا بشأن حقيقتها. إنها أداة للنماذج الأولية، غير مُحكَمة للإنتاج بعد مليوني متجه. لا بأس بها لإثبات المفهوم. والفاتورة الخفية هي تكلفة الترحيل حين ينمو العميل.
أما Pinecone و Weaviate Cloud فهما الخياران اللذان أنصح عملائي الخاضعين للتنظيم في الإمارات بتجنّبهما تمامًا. كلاهما يوجّه البيانات عبر مناطق أمريكية أو أوروبية، وحتى منتصف 2026 لا توجد منطقة توافر مؤكدة في الإمارات لأيٍّ منهما. إن تضمين مستنداتك في خدمة مُدارة بمنطقة أمريكية ثم الاستعلام عنها في مقرّك لا يُبقي البيانات الحساسة داخل المبنى. بل يشحنها للخارج أولًا ثم يعيدها. هذا تعريض مباشر بموجب أحكام النقل عبر الحدود في PDPL، مُغلّف على هيئة ميزة تسهيلية.
تشغيل pgvector عند 50 ألفًا: المقابض التي تهمّ فعلًا
«إنها تعمل ببساطة» صحيحة هنا، لكن الحساب يبني الحجّة أفضل مما يفعل الادعاء. 50,000 متجه عند 1,024 بُعدًا هي نحو 200 MB من بيانات float32 الخام، ويضيف رسم HNSW قوائم الجيران فوقها. سمّها 1.5 إلى 2 أضعاف، ما يضع الفهرس حول 300 إلى 400 MB. ذلك تقدير، لا مضاعِف منشور، لكن المغزى هو رتبة المقدار. فهو يقبع في الذاكرة مع فسحة فائضة، ولهذا يكون زمن الاستجابة مسألة لا تُذكر عند هذا الحجم.
يختبئ أكثر أخطاء النشر شيوعًا في إعداد افتراضي واحد لـ Postgres. تبلغ القيمة الافتراضية لـ maintenance_work_mem نحو 64 MB، وإن لم يتّسع رسم HNSW داخلها أثناء البناء، يعود Postgres بصمت إلى بناء قائم على القرص تضعه اختبارات أداء المجتمع عند بطء يتراوح بين 10 و50 ضعفًا. ارفعها قبل أن تبني الفهرس، لا بعد أن تراه يزحف.
وفي ما يخص المعاملات، لا تترك «اضبطها» مجرّدة. القيم الافتراضية لـ pgvector هي m = 16 و ef_construction = 64. بداية إنتاج رشيدة تدفع ef_construction إلى 200 وتُبقي m عند 16. لا تذهب إلى m = 64 / ef_construction = 500 إلا إن قصُر الاسترجاع المقيس، واعلم أنه يكلّف وقت بناء وذاكرة. تجاوز IVFFlat هنا. فقيمته الافتراضية probes = 1 تعطي استرجاعًا ضعيفًا، وهو لا يؤتي ثماره إلا على مجموعات كبيرة جدًا وثابتة. وإن تجاوز عميل يومًا إنتاجية pgvector، فإن pgvectorscale يضيّق الفجوة مع Qdrant. وعند 50 ألف متجه، فذلك على بُعد سنوات.
PDPL، و DIFC Regulation 10، ولماذا تُعدّ التضمينات بيانات شخصية
ثمة افتراض مريح بأن التضمينات المتجهية مجهّلة الهوية. فهي مجرد مصفوفات رقمية، لا النص الخام، فما الضرر؟ هذا الافتراض خاطئ، والجهات التنظيمية تتعامل معه على أنه خاطئ. فالتضمين المبني من ملاحظات استشارة مريض أو مراسلات قانونية لعميل يحمل بنية دلالية كافية لإعادة بناء قدر كبير من المحتوى الأصلي، حرفيًا في كثير من الأحيان للمقاطع القصيرة. وبموجب PDPL الإماراتي، هذا يجعله بيانات شخصية، دون أي استثناء.
دخلت DIFC AI Regulation 10 حيّز التنفيذ الكامل في يناير 2026، وهي تضيف طبقة تقع مباشرة على عاتق العيادات ومكاتب المحاماة في منطقة DIFC الحرة. فتقييمات أثر الذكاء الاصطناعي مطلوبة لحالات الاستخدام عالية المخاطر. وتلتصق التزامات شفافية موثّقة بالقرارات المدفوعة بالذكاء الاصطناعي.
وإليك النمط الخاطئ الذي أراه مرارًا وتكرارًا في مشاريع الذكاء الاصطناعي لدى الشركات الصغيرة والمتوسطة، وكأنه قالب جاهز: قاعدة بيانات متجهية سحابية مُدارة في منطقة أمريكية أو أوروبية، مقرونة بنموذج LLM مستضاف محليًا. المنطق يبدو معقولًا. توفير المال على الاستدلال، وإبقاء التوليد خاصًا. لكن خطوة التضمين، حيث تتحوّل المستندات إلى متجهات، تعمل عبر API الخاص بمزوّد قاعدة البيانات المتجهية. فكل مقطع من مستند يعبر إلى ولاية قضائية أجنبية قبل أن يرى نموذج LLM المحلي لديك كلمة واحدة منه. أما pgvector المستضاف ذاتيًا على خادم إماراتي، أو Qdrant المستضاف ذاتيًا، فيزيل هذا التعريض تمامًا. وتنتهي البنية أبسط. وتنتهي قصة الامتثال أنظف. ولا تتنازل عن أي شيء كنت تحتاجه فعلًا.
لماذا التضمين ليس بصمة هاش مجهّلة الهوية
تظل الفرق تعامل التضمين كبصمة هاش أحادية الاتجاه أو كملخّص كلمة مرور: أرسل المتجه، لا النص، فيبقى المحتوى الحساس خلفك. لكنه لا يفعل. لقد حسم البحث هذه المسألة منذ سنوات، وهو يشير إلى الاتجاه المعاكس.
الأدلة محددة. استعادت ورقة Song وRaghunathan لعام 2020 «Information Leakage in Embedding Models» نحو 50 إلى 70 بالمئة من كلمات الإدخال مباشرة من تضمينات الجمل. وصقلت ورقة Vec2Text لـ Morris وزملائه لعام 2023، «Text Embeddings Reveal (Almost) As Much As Text»، تضمينًا مُخمَّنًا رجوعًا نحو السلسلة الأصلية واستعادت بدقة 92 بالمئة من المدخلات القصيرة ضمن المجال. ويُزيل تصاعد 2025 آخر الأعذار. يُظهر ALGEN (Chen, Xu, Bjerva, arXiv:2502.11308) أن زوجًا واحدًا مسرَّبًا من نص-وتضمين يعطي بالفعل إعادة بناء جزئية، وأن الهجوم ينتقل عبر المرمِّزات والمجالات واللغات، وأن الدفاعات التي اختبروها لم تصمد. لذا فإن «أرسلنا متجهات فقط، لا نصًا» ليس دفاعًا، وليس اكتشافًا خاصًا بالإنجليزية وحدها، إذ يفيد العمل المنشور حول الانعكاس متعدد اللغات بأن اللغات المكتوبة بالحرف العربي من بين الأكثر عرضة. وتأطير ملاحظات المرضى والمراسلات القانونية مؤسَّس، لا مُستنتَج بالقياس.
النتيجة الإماراتية ملموسة. فالمتجه المبني من ملاحظة استشارة أو من ملف عميل قابل للعكس بما يكفي لكشف المحتوى الأصلي، وهذا بالضبط سبب تعامل PDPL معه بوصفه بيانات شخصية، وسبب كون شحن تلك المتجهات إلى منطقة أمريكية نقلًا عبر الحدود لبيانات شخصية لا نقلًا لرياضيات مجهّلة الهوية. والاستضافة الذاتية لخطوة التضمين على أرض الإمارات هي التصميم الوحيد الذي لا تغادر فيه مخاطرة الانعكاس تلك المبنى أبدًا.
الثغرة في الامتثال التي لا يذكرها أحد: لا توجد قائمة كفاية إماراتية يُعتمَد عليها
سمِّ الآلية القانونية التي قد يحتاجها فعلًا مورّد سحابة مُدارة، لأنها غير موجودة بعد. فالـ PDPL الاتحادي هو Federal Decree-Law No. 45 of 2021، وتحكم Articles 22 and 23 النقل عبر الحدود. تسمح Article 22 بالنقل إلى الولايات القضائية التي يعتبرها مكتب بيانات الإمارات كافية. وتتيح Article 23 استثناءات ضيّقة، كالموافقة الصريحة والضرورة التعاقدية.
وإليك الحقيقة الراهنة التي تغيّر الحساب. حتى عام 2026 لم ينشر مكتب بيانات الإمارات أي قائمة كفاية ولم يُصدر أي بنود تعاقدية نموذجية اتحادية، ولا تزال اللائحة التنفيذية لـ PDPL غير منشورة. لذا لا يوجد مسار قانوني جاهز يجعل توجيه متجهات المرضى أو العملاء إلى منطقة Pinecone أمريكية أمرًا نظيفًا. وستجد نفسك متّكئًا على موافقة صريحة لكل صاحب بيانات على حدة، وهو أمر غير قابل للتطبيق عبر 50,000 مستند. ومخاطرة الإنفاذ ليست نظرية هي الأخرى. فقد ورد أن مزوّد رعاية صحية عن بُعد في دبي عُلّق نشاطه في 2024 لتخزينه سجلات المرضى خارج الدولة، بموجب قاعدة إقامة البيانات الصحية في Federal Law No. 2 of 2019. لقد تحرّك المنظّم بشأن الإقامة، لا أنه هدّد بذلك فحسب.
وبالنسبة لعيادة أو مكتب مسجّل في DIFC، ينطوي هذا مباشرة ضمن الـ DPIA الذي تطلبه Regulation 10 أصلًا. فموضع حدوث التضمين هو نتيجة موثّقة، و«مخزن متجهات بمنطقة أمريكية» نتيجةٌ لا حاشية. والاستضافة الذاتية تتجاوز مسألة الكفاية برمّتها، لأنه لا يحدث أي نقل. أنت لا تراهن على قائمة لم تُنشر بعد.
ما الذي يحرّك مؤشر الجودة فعلًا عند هذا الحجم
محرك قاعدة البيانات ليس القيد. القيد أربعة أمور أخرى، وهي حيث يجب أن يتجه انتباهك.
ابدأ بنموذج التضمين. للمدوّنات النصية ثنائية اللغة عربية-إنجليزية، يُعدّ نموذج multilingual-E5-large من Microsoft الخيار الافتراضي الجاهز للإنتاج، إذ يتجاوز Recall@10 نسبة 90 بالمئة على اختبارات أداء الأسئلة والأجوبة العربية. وQwen3-Embedding من Alibaba، الذي تصدّر لوحة صدارة MTEB متعددة اللغات في منتصف 2025، هو الخيار الثنائي اللغة القوي الآخر. وإن كان معظم محتواك باللغة العربية الفصحى المعاصرة، أي نصوصًا قانونية أو طبية، فقِس أداء مرمِّز عربي مخصّص إزاءه. والأفضل حاليًا من عائلة GATE هو Arabic-Triplet-Matryoshka-V2 عند 85.31 على STS17 العربية، متقدّمًا على GATE-AraBERT-v1 الأقدم عند 82.78. مع تحفّظ واحد صريح: تلك نتائج للعربية الفصحى المعاصرة، واللهجة الخليجية هي ما تفهرسه في سجلات التواصل مع المرضى. ويمكنك الآن الاختبار لأجل ذلك، إذ إن اختبار أداء ArabicMTEB (arXiv:2411.01192) متعدد اللهجات ويشمل الخليجية. وإن حسمت السيادة الأمر، فتلك المرمِّزات الأكاديمية الإماراتية المنشأ هي عائلة GATE/Matryoshka، لا Falcon Arabic من TII، الذي هو نموذج LLM توليدي لا نموذج استرجاع.
بعد ذلك، حجم المقطع والتداخل. يُعدّ مقطع من 512 رمزًا بتداخل 64 رمزًا نقطةَ انطلاق منطقية. لكن العقود القانونية والبروتوكولات الطبية تحمل بِنى أقسام تنطبق على التقطيع الدلالي حسب العنوان أفضل بكثير من نوافذ الرموز الثابتة، فلا تعامل الإعداد الافتراضي كأنه نص مقدّس.
ثالثًا، تصفية البيانات الوصفية. يمكن لكلٍّ من pgvector و Qdrant التصفية على حقول البيانات الوصفية قبل تشغيل البحث المتجهي، ما يتيح لعيادة أن تحصر الاسترجاع في ملف مريض واحد أو نطاق تاريخي دون مسح المدوّنة بأكملها.
رابعًا، وهذه هي الرافعة التي تتركها معظم مسارات الشركات الصغيرة والمتوسطة على الطاولة: ادمج الاسترجاع المعجمي والدلالي، ثم أعد الترتيب. ففي اختبارات الأداء المنشورة، يرفع دمج BM25 مع المتجهات الكثيفة عبر Reciprocal Rank Fusion قيمة recall@10 من أواخر الستينيات والسبعينيات إلى أوائل التسعينيات، ويضيف مُعيد ترتيب بنموذج مرمّز متقاطع فوق ذلك ما يقارب +12 نقطة Recall@5 و+17 نقطة MRR@3 على الهجين غير المُعاد ترتيبه. وكلا المحركين يدعمه: Qdrant أصلًا، عبر الهجين المتفرّق-مع-الكثيف بـ RRF، وpgvector بدمج بحث PostgreSQL النصي الكامل مع المسافة المتجهية. والمطابقة المعجمية تكسب قيمتها مضاعفةً في العربية، حيث تهزم الصرفية الغنية القائمة على الجذر والوزن والكيانات المسمّاة التشابهَ الدلالي المحض. ويعمل مُعيد الترتيب محليًا، بعد الاسترجاع، ولا يمسّ بنية قاعدة البيانات أبدًا.
فالتوصية إذًا بسيطة. إن كان Postgres يعمل أصلًا، فأضف pgvector اليوم. وإن كنت تبدأ من الصفر، فانشر Qdrant في مقرّك عبر Docker. ولا تدفع مقابل استضافة سحابية مُدارة لقواعد البيانات المتجهية حتى تتوافر عُقدة في منطقة الإمارات واتفاقية معالجة بيانات موقّعة وبين يديك.
هل لديك أسئلة حول إعدادك؟
نساعد الشركات الإماراتية الصغيرة والمتوسطة على بناء أنظمة ذكاء اصطناعي متوافقة ومحلية وفعّالة فعلاً. محادثة أولى مجانية.