بناء منظومة تقييم لأنظمة RAG في المجال المالي

منظومة تقييم أنظمة RAG في المجال المالي هي اختبار قابل للتكرار يُقيّم أمرين بشكل منفصل: هل عثر الاسترجاع على المقطع الذي يُجيب عن السؤال، وهل الإجابة المُولَّدة مستندة إلى ما جرى استرجاعه. تبني مجموعة أسئلة موسَّمة من مستندات حقيقية، وتُشغّل الأنبوب (pipeline) عليها عند كل تغيير، وتراقب رقماً رئيسياً واحداً يتحرّك قبل طرح أي شيء للإنتاج.

سبب الفصل بين هذين القياسين هو أنهما يتعطّلان لأسباب مختلفة وتُصلِحهما في أماكن مختلفة. تراجُع جودة الاسترجاع مشكلة فهرسة أو تقطيع (chunking) أو ترتيب (ranking). أما تراجُع الأمانة مع ثبات الاسترجاع فهو مشكلة مُوجِّه (prompt) أو نموذج. ادمِجهما في درجة “دقّة” واحدة تفقد القدرة على معرفة أي نصف عليك إصلاحه. تكتشف معظم الفِرَق ذلك بالطريقة البطيئة، بعد إجابة خاطئة بثقة عند نهاية الربع لا يستطيع أحد تفسيرها.

قِس الاسترجاع بمفرده

الاسترجاع إمّا أنه وضع المقطع الداعم في نافذة السياق أو لم يفعل. قيّم ذلك أولاً، قبل أن يكتب النموذج كلمة، لأن التوليد لا يستطيع التعافي من سياق لم يحتوِ الإجابة أصلاً.

ابنِ مجموعة التقييم من أسئلة حقيقية على مستندات حقيقية: أقسام تقارير 10-K، وجداول التعهّدات (covenants)، وسرديات المعاملات، وملفات السياسات بصيغة PDF، وأي شيء يقرأه نظامك فعلاً. لكل سؤال، يُحدِّد إنسان أي مقطع أو مقاطع تحتوي الإجابة. هذا التوسيم هو الجزء المُكلِف، وهو الجزء الذي لا يمكنك تخطّيه. ثم تابِع ما يلي:

• الاستدعاء عند k (Recall at k). من بين المقاطع التي تدعم الإجابة فعلاً، كم منها وقع ضمن أعلى k مُسترجَع؟ هذا هو الرقم الأهم، لأن المقطع الذي لا يراه النموذج أبداً لا يمكنه أن يُسنِد إجابة.
• الدقّة عند k (Precision at k)، أو كثافة السياق. ما مقدار ما استرجعته وكان فعلاً ذا صلة؟ حشو النافذة بمقاطع شبه مطابقة يرفع الكلفة ويمنح النموذج مجالاً أكبر ليتشبّث بالجملة الخاطئة.
• MRR أو درجة تراعي الترتيب (rank-aware)، كي تلاحظ حين ينزلق المقطع الصحيح من الموضع الثاني إلى الموضع الثامن رغم أن الاستدعاء يبدو ثابتاً.

جزّئ كل واحد من هذه المقاييس حسب نوع المستند وحسب نوع السؤال. منظومة تُبلِّغ عن استدعاء مُدمَج واحد قدره 0.86 تُخفي حقيقة أنها تسترجع الإفصاحات (filings) جيداً وجداول التعهّدات بشكل سيّئ. الرقم المُدمَج يتحرّك قليلاً؛ لكن شريحة التعهّدات هي التي ستؤذيك.

قيّم التوليد مقابل السياق، لا مقابل الحقيقة المطلقة

بمجرد أن يصبح المقطع الصحيح داخل النافذة، يكون السؤال الثاني هو ما إذا كانت الإجابة تبقى داخله. هذه هي الأمانة، وهي الفشل المُكلِف في المجال المالي. الجملة الركيكة يُمسَك بها في المراجعة. أما الجملة السلِسة التي تحمل رقماً لم يدعمه المصدر قط فقد تمضي مباشرة إلى عرض تقديمي للعميل قبل أن يُقارِنها أحد بالإفصاح.

قيّم التوليد على ثلاثة محاور، كلٌّ منها مقابل السياق المُسترجَع بدلاً من مثال مثالي خارجي:

• الأمانة (Faithfulness). هل كل ادّعاء في الإجابة مستلزَم (entailed) من المقاطع المُسترجَعة؟ الإجابة التي تختلق رقماً، أو تُعيد صياغة عتبة تعهّد بانحراف طفيف، تفشل هنا حتى وإن قُرِئت جيداً.
• استناد الإجابة (Answer grounding). هل تشير الاستشهادات إلى مقاطع تدعم فعلاً الادّعاء المحدَّد المرتبط بها؟ الاستشهاد الذي يقع فقط على الصفحة الصحيحة ليس استناداً؛ عليه أن يدعم الجملة نفسها.
• ملاءمة الإجابة (Answer relevance). هل عالجت السؤال المطروح، أم سؤالاً قريباً وجدت أنه أسهل في الإجابة من السياق؟

للأمانة على نطاق واسع نستخدم حكَماً (judge) من نماذج اللغة، لكن فقط بعد معايرته. خذ بضع مئات من الإجابات، ودَع إنساناً يُوسِّم كلاً منها بأنها مُستنِدة أو غير مُستنِدة، ثم شغّل الحكَم على الشريحة نفسها وقِس نسبة الاتّفاق. إن اختلف الحكَم مع البشر في خُمس الحالات، فدرجاته ضجيج، وتضبط المعيار (rubric) حتى يصمد الاتّفاق. أبلِغ عن نسبة اتّفاق الحكَم إلى جانب درجات الأمانة التي يُعطيها. رقم أمانة صادر عن حكَم غير مُعايَر ليس إلا انطباعاً يرتدي فاصلة عشرية.

اربطها في الأنبوب كي يتحرّك الرقم

مجموعة تقييم تعيش في دفتر (notebook) يُشغّله أحدهم يدوياً هي مستند، لا منظومة. المنظومة هي الأتمتة المحيطة بها.

• شغّل المجموعة الكاملة في التكامل المستمر (CI) عند كل تغيير في المُوجِّهات أو التقطيع أو نموذج التضمين (embedding model) أو المُسترجِع (retriever) أو النموذج الأساس. تعديل مُوجِّه يرفع نوع سؤال واحد ويُراجِع بصمت استرجاع التعهّدات ينبغي أن يُفشِل عملية البناء، لا أن يظهر في الإنتاج.
• ثبّت مقياساً رئيسياً واحداً على القرار الذي يقوده النظام، كما تفعل مع أي نموذج مالي، وحدِّد عتبة يجب على البناء تجاوزها. لمساعِد بحثي يكون ذلك عادةً الأمانة؛ ولأداة البحث في السياسات يكون استدعاء الاسترجاع.
• أصدِر نسخاً موسومة (version) من مجموعة التقييم واحتفظ بنتائجها في مسار التدقيق (audit trail). حين تسأل جهة التحقّق (validation) أو مراجِع خارجي عن أداء النظام قبل إصدار ما، تكون الإجابة تشغيلاً محفوظاً على مجموعة معلومة، لا ذكرى عرض تجريبي ناجح.
• أعِد تغذية إخفاقات الإنتاج إلى الداخل. كل إجابة خاطئة يُمسِك بها مراجِع تصبح حالة موسَّمة في التشغيل التالي، بحيث تصبح المنظومة أصعب تحديداً في المكان الذي وقع فيه النظام.

راقب الانجراف (drift) بمجرد أن يصبح النظام حياً. تتغيّر صيغ المستندات، ويظهر قالب إفصاح جديد، ويستبدل أحدهم نموذج التضمين بآخر أرخص. يتراجع استدعاء الاسترجاع أولاً، ثم تتبعه الأمانة، وبدون منظومة قائمة يكون أول إشارة تصلك هي مستخدم يعترض على رقم. أما معها، فتهبط شريحة التعهّدات نصف نقطة في التكامل المستمر فتُمسِك بها قبل الطرح.

الغاية من كل هذا هي رقم يتحرّك لسبب يمكنك تسميته. حين يهبط استدعاء الاسترجاع، تعرف أن عليك النظر في التقطيع. وحين تهبط الأمانة مع ثبات الاسترجاع، تعرف أن عليك النظر في المُوجِّه أو النموذج. هذا الفصل هو كل قيمة المنظومة، وهو ما يُحوِّل “يبدو جيداً” إلى شيء يمكنك أن تضعه أمام مُدقِّق.