هذه تدوينة بناء على الملأ عن لبيبة، المساعد الذكي بتقنية RAG الذي بنيته بمفردي لإدارة الشؤون القانونية في زين.
أكثر بلاغ علّمني عن أنظمة RAG لم يأتِ من ملف سجلات، بل من موظف قانوني قال بأدب وحزم: «أعرف أن الإجابة في هذا المستند. أستطيع فتحه والإشارة إلى الفقرة. لماذا لا تجدها لبيبة؟»
كان محقًا. وحين حفرت في المشكلة، كان النمط واضحًا لا لبس فيه: الإخفاقات تتركز في المستندات الطويلة متعددة الصفحات حيث تقع المعلومة المطلوبة قرب النهاية. اسأل عن شيء في الصفحة الأولى من خطاب وتصيب لبيبة الهدف. اسأل عن التزام مدفون في الفقرات الختامية للصفحة التاسعة، فإما تسترجع مستندًا خاطئًا أو تجيب من سياق ناقص.
لماذا تخسر الصفحات الأخيرة
الوصفة المعتادة في RAG تقسّم كل مستند إلى مقاطع صغيرة وتضمّن كلًا منها على حدة. وهذا يعمل أفضل مما يستحق — إلى أن تصبح بنية المستند مهمة. الخطابات القانونية تضع هويتها في المقدمة: الموضوع والأطراف والأرقام المرجعية كلها في الصفحة الأولى. أما مقطع من الصفحة التاسعة فغالبًا شذرة من نص في منتصف حجة، بلا أي من تلك الهوية. مضمَّنًا في عزلة، لا يبدو أنه ينتمي إلى المستند الذي جاء منه.
فحين يسأل المستخدم سؤالًا يذكر القضية أو الطرف الآخر أو الموضوع، فإن المقاطع المطابقة هي المقاطع الأولى. ومقطع الصفحة المتأخرة الذي يحمل الإجابة الفعلية يحرز نتيجة ضعيفة ولا يدخل قائمة النتائج الأعلى أبدًا. المسترجِع ليس معطوبًا؛ إنه يفعل تمامًا ما طُلب منه بالمعلومات التي أُعطيها. المعلومات كانت المشكلة.
الحل: طابق صغيرًا، أجب كبيرًا
ما نجح مع لبيبة كان استرجاع المستند الأصل — فصل ما تبحث فيه عما تقرؤه:
فهرِس صغيرًا. ما زالت المستندات تُقسَّم إلى مقاطع صغيرة للتضمين، لأن المقاطع الصغيرة مطابِقات دقيقة — تُبقي البحث المتجهي حادًا.
استرجِع كبيرًا. حين يطابق مقطع، لا أسلّم النموذج تلك الشذرة، بل أعود بها إلى مستندها الأصل وأسلّم النموذج المستند كاملًا.
دع النموذج يفعل ما تجيده النماذج. إيجاد إبرة داخل مستند واحد موجود أمامه فعلًا شيء يفعله النموذج القدير بثبات. أما إيجادها عبر أرشيف كامل من خلال ثقب مفتاح من شذرات مفككة، فلا.
صارت المقاطع لافتات طريق لا مادة مصدرية. فبمجرد أن يطابق أي جزء من المستند الصحيح، يرى النموذج الصفحات من الأولى إلى التاسعة معًا — الهوية من المقدمة والإجابة من النهاية، في السياق نفسه.
الثمن
لا شيء مجاني. المستندات الكاملة تعني رموزًا أكثر بكثير لكل استعلام، وعلى النماذج المحلية — لبيبة تشغّل gemma4:26b عبر Ollama خلف وسيط LiteLLM — مساحة السياق ميزانية حقيقية لا مجردة. المستندات الطويلة احتاجت ضوابط، وزمن الاستجابة لكل سؤال ارتفع. لكن لإدارة قانونية، كانت المقايضة بديهية: إجابة صحيحة بطيئة تتفوق على إجابة خاطئة سريعة، في كل مرة.
وهناك مسار ثانٍ يتجاوز الاسترجاع كليًا: تتيح لبيبة رفع مستند محدد واستجوابه مباشرة. فحين يعرف المستخدم أي خطاب بيده أصلًا، فإن إجبار ذلك المسار على المرور بالبحث المتجهي خسارة صافية — أعطِ النموذج المستند وحسب.
ما كنت سأقوله لنفسي في البداية
قيّم الاسترجاع منفصلًا عن التوليد، وابنِ مجموعة التقييم من أسئلة المستخدمين الحقيقية — لا من الأسئلة التي تسألها أنت لنظامك. أسئلتي كانت مصوغة لا شعوريًا بمعرفتي بكيفية عمل الفهرس، فسألت أسئلة الصفحة الأولى وبدا كل شيء رائعًا. مستخدمو النظام سألوا أسئلة الصفحة التاسعة وكشفوا الحقيقة في أسبوع. هكذا يفعلون دائمًا.
اترك تعليقاً
لن يتم نشر عنوان بريدك الإلكتروني.