كيف تحوّل انطباع "يبدو جيدًا" إلى رقم قبل إطلاق نظام ذكاء اصطناعي مالي

العرض التوضيحي يُقنع قاعة الاجتماعات. لكنه لا يُقنع المدقّق، ولا ينبغي أن يُقنعك أنت. عبارة “يبدو جيدًا” مجرد إحساس مستمدّ من حفنة أسئلة طرحها شخص ما مصادفةً. وفي اللحظة التي يلامس فيها النظام قرارًا حقيقيًا، يجب أن يتحوّل هذا الإحساس إلى رقم تستطيع الدفاع عنه، تسنده منهجية واضحة. وتقييم نماذج اللغة الكبيرة في المجال المالي هو العلم الذي يُنتج هذا الرقم.

تتجاوز معظم الفرق هذه الخطوة لأن بناء مجموعة تقييم أبطأ من الإطلاق المباشر. ثم يعطي النظام إجابة خاطئة بثقة عند إقفال الربع المالي، فلا يكون هناك أي دليل يحسم ما إذا كان ذلك خطأً عابرًا أم الخطأ الثالث من نوعه هذا الشهر. وما يلي هو كيف نتفادى ذلك.

اختر المقياس الواحد المرتبط بالقرار

قبل قياس أي شيء، حدّد الغرض الفعلي من النظام. الأداة التي تستخرج الأرقام من الإفصاحات تُحاكَم على دقة الاستخراج مقابل المستند المصدر. والأداة التي تكشف فروقات التسويات تُحاكَم على معدل الاسترجاع (Recall)، لأن فرقًا فائتًا يكلّف أكثر من إنذار كاذب يستطيع المرء استبعاده في ثانية. أمّا المساعد الذي يجيب اعتمادًا على الاسترجاع فيُحاكَم على ما إذا كان المقطع المستشهد به يدعم الادعاء فعلًا.

مقياس واحد، مرتبط بالقرار الذي يقود مخرجاته. سجّل أرقامًا ثانوية إن شئت، لكن سمِّ المقياس الواحد الذي تراهن عليه نشر النظام. الفرق التي تعرض سلّة من الدرجات الغامضة غالبًا ما تتهرّب من هذا الاختيار.

ابنِ مجموعة التقييم من حالات واقعية

مجموعة التقييم الجيدة تكون موسومة بالإجابات الصحيحة، ومأخوذة من حالات سيواجهها النظام فعليًا، لا من أسئلة مصطنعة كُتبت لتملّقه. نحن نستقي من سجلّ حقيقي: إفصاحات فعلية، وملفات تسويات فعلية، واستفسارات محلّلين فعلية. ولكل منها إجابة مرجعية صحيحة يوافق عليها خبير في المجال.

الأمثلة الصعبة أهمّ من السهلة. مجموعة التقييم المالية التي يمكن للفرق الوثوق بها تتضمّن:

• الحالات الحدّية: إعادة بيان النتائج، والإفصاحات المعدّلة، والأرقام المذكورة في الحواشي التي تناقض الرقم الرئيسي
• المدخلات الخصومية: أسماء الكيانات الملتبسة، والأطراف المقابلة شبه المتطابقة، والمحفّزات التي تغري بتخمين واثق حيث تكون الإجابة الأمينة هي “غير مذكور”
• حالات الفشل المعروفة: كل خطأ وقع في الإنتاج، يُعاد إدراجه ليُختبر إلى الأبد

إن كانت المجموعة كلها أسئلة سهلة، فالمقياس الناتج مجرد زينة. الغاية هي اكتشاف نقاط انهيار النظام بينما لا يزال إصلاحها رخيصًا.

قِس مقابل العملية الحالية

الرقم بمعزل عن سياقه لا يعني شيئًا. النقطة المرجعية هي العملية التي يحلّ النظام محلّها. فإذا كان محلّل مبتدئ يستخرج هذه الأرقام اليوم بدقة 96٪، فإن عملية تحقّق من نموذج ذكاء اصطناعي تُظهر 91٪ هي تراجع متنكّر في ثوب تقدّم، مهما بدا العرض التوضيحي مبهرًا.

مقاييس الأساس المرجعي المأخوذة من سير العمل القائم هي السقف الذي يجب بلوغه. شغّل مجموعة التقييم عبر العملية الحالية، وسجّل الدرجة، وألزِم النظام الجديد بها. وإن لم يستطع تجاوز هذا السقف، فمن الأفضل بكثير أن تكتشف ذلك في الأسبوع الثالث لا بعد ستة أشهر من البناء.

افصل الاسترجاع عن التوليد

حين يُخطئ نظام مدعوم بالاسترجاع (RAG) في إجابة، يكون هناك مشتبهان: إمّا أنه جلب السياق الخاطئ، أو أنه استدلّ استدلالًا رديئًا انطلاقًا من السياق الصحيح. وإذا دمجت الأمرين في درجة واحدة، فلن تستطيع تمييز أيّهما تُصلح.

لذلك نقيسهما منفصلين. جودة الاسترجاع تسأل: هل كان المقطع الصحيح ضمن ما جرى إرجاعه؟ وجودة التوليد تسأل: بافتراض توفّر المقطع الصحيح، هل الإجابة أمينة له؟ يمكن لنظام أن يحقّق رقمًا قويًا من الطرف إلى الطرف بينما يُخفي استرجاعًا ضعيفًا سينهار لحظة تغيّر مجموعة الوثائق. وتقسيم القياس يكشف ذلك.

احتفظ بها كاختبار انحدار وكوثيقة

مجموعة التقييم ليست بوابة لمرة واحدة. كل تغيير في المحفّز، أو في إصدار النموذج، أو في فهرس الاسترجاع، أو في تجزئة النصوص، يُمرَّر عليها قبل الإطلاق. فمزوّدو النماذج يحدّثون الأوزان وينحرف السلوك تدريجيًا؛ والانحدار الصامت هو بالضبط نوع الفشل الذي تُبنى مجموعة التقييم لاصطياده.

كما أنها تبقى أطول من عمر مرحلة البناء. في ظل توقّعات مخاطر النماذج والتدقيق، سيسأل أحدهم في النهاية: كيف تعرف أن النظام يؤدّي عمله، وكيف عرفت ذلك قبل دخوله الخدمة؟ مجموعة تقييم محفوظة بإصداراتها، مع وسومها، ودرجاتها مقابل الأساس المرجعي، وتاريخ مؤرّخ لنتائجها، تشكّل إجابة مباشرة. فهي تغذّي التحقّق من النموذج وتقييم المطابقة بدلًا من أن تتركك تعيد بناء الأدلة بأثر رجعي.

لا شيء من هذا برّاق. لكنه الفرق بين رقم تستطيع وضعه أمام جهة تنظيمية، وإحساسٍ خرجت به من عرض توضيحي.