يستخرج النموذج مبلغاً من إفصاحٍ ماليّ، فيقول إنّ القيمة 4.2 مليون. أهي بالدولار أم باليورو؟ أهي 4.2 رقماً فعلياً، أم أنّ النموذج قرّب رقم 4.23 كان فارقه مهمّاً؟ وهل كان هذا الرقم موجوداً أصلاً في المستند، أم أنّ النموذج ملأ فجوةً تبدو معقولة؟ لا واحد من هذه الأسئلة له، بمفرده، جوابٌ يمكنك الدفاع عنه أمام مدقّق. لقد أنتج النموذج نصّاً، والنصّ ليس شيئاً ينبغي السماح لأيّ نظامٍ ماليٍّ تالٍ بالتصرّف بناءً عليه على الإطلاق.
هذا هو الجزء من الذكاء الاصطناعي في المال الذي يحظى بأقلّ قدرٍ من الاهتمام ويُحدث أكبر قدرٍ من الضرر. ينصبّ تركيز الجميع على ما إذا كان النموذج ذكيّاً بما يكفي. أمّا المشكلة الأصعب فهي جعل مُخرجاته «مملّةً» بما يكفي: متوقّعة الشكل، مفحوصة قبل الاستخدام، وآمنة الرفض. الرقم الذي يستقرّ في دفتر الأستاذ له تبعات، والمسار الذي سلكه للوصول إلى هناك يجب أن يكون مساراً قابلاً للتدقيق.
قيِّد الشكل قبل أن تثق بالقيمة
الخطوة الأولى هي التوقّف عن قبول النصّ الحرّ تماماً. تدعم النماذج الحديثة المخرجات المهيكلة واستدعاء الدوال، حيث تُسلّم النموذج مخطّط JSON فيعيد قيمةً مطابقةً له. فبدلاً من أن تطلب «رقم الإيرادات» ثمّ تحلّل ما يعود مهما كان، تعرّف دالّةً ذات وُسطاء مُحدّدة الأنواع: مبلغٌ بصيغة رقم، عملةٌ بصيغة قائمة تعداد (enum)، فترةٌ بصيغة تاريخ، حقلُ ثقة، ونطاقُ مصدرٍ يتعيّن على النموذج أن يشير إليه. فإمّا أن يفي النموذج بهذا العقد، أو يفشل الاستدعاء.
هذا وحده يزيل صنفاً كاملاً من حالات الإخفاق. فلم تعد تنتزع «4.2 مليون USD» من جملةٍ آملاً أن تكون التعبيرات النمطية (regex) قد صمدت. لكنّ المطابقة للمخطّط ليست هي الصواب نفسه. المخرجات المُقيَّدة بمخطّط JSON تضمن أنّ الاستجابة سليمة التركيب، لكنّها لا تقول شيئاً عمّا إذا كانت القيمة صحيحة، أو ضمن النطاق، أو حتّى حقيقية. ذاك عملٌ منفصل، وتجاوزه هو حيث تكتوي الفِرق.
تحقّق من الأنواع والنطاقات قبل أن يتصرّف أيّ شيء
يجري التحقّق من المخرجات بعد النموذج وقبل أن يقرأ أيّ نظام القيمة. المخطّط يأتيك ببياناتٍ سليمة التركيب، أمّا التحقّق فهو ما يقرّر ما إذا كنت ستتصرّف بناءً عليها. نتعامل مع هاتين كطبقتين متمايزتين لأنّهما تُخفقان لأسبابٍ مختلفة وتستلزمان استجاباتٍ مختلفة.
الفحوص التي نضعها بين النموذج ودفتر الأستاذ:
- النوع والوحدة: المبلغ رقمٌ، والعملة عملةٌ تتعامل بها، والتاريخ يؤول إلى فترة إبلاغٍ حقيقية
- النطاق والمعقولية: الرقم يقع ضمن حدودٍ يمكنك تبريرها، بحيث يُوقَف إيرادُ نهاية ربعٍ مقداره سالب اثني عشر، أو رقمٌ يبتعد عن الفترة السابقة بثلاث رتبٍ عشرية، بدلاً من قيده
- الإسناد إلى المصدر: يمكن ربط القيمة بالنطاق الذي استشهد به النموذج، بحيث يُعامَل استخراجٌ لا يشير إلى شيء كرفضٍ لا كنتيجة
- الاتّساق بين الحقول: الفترة والعملة والكيان يتّفق بعضها مع بعض، ومع ما تعرفه بقيّة السجلّ أصلاً
أيّ قيمةٍ تُخفق في أيٍّ من هذه لا يُستبدَل بها تخمينٌ ثانٍ في المرتبة. بل تُوجَّه إلى إنسان أو تُرفَض. وجوهر الأمر كلّه أن لا يتصرّف أيّ شيءٍ بناءً على رقمٍ عجز النظام عن فحصه.
الرفض، والثقة، وعدم التصرّف
في بعض الأحيان يكون المخرَج الصحيح هو لا مخرَج. فالرقم غير موجود في المستند، أو النموذج يخمّن، أو حقل الثقة يعود منخفضاً. يحتاج النظام المالي إلى مسارٍ صريحٍ لهذه الحالة، تماماً كما يحتاج قرار الائتمان إلى رمز سببٍ لا إلى هزّة كتفين. نجعل الرفض قيمةً مُعادةً من الدرجة الأولى، لها معالجتها الخاصّة، بحيث يُدرَج استخراجٌ منخفض الثقة في طابور المراجعة بدلاً من أن يؤول صامتاً إلى الصفر. فالقيم الافتراضية الصامتة هي الطريقة التي تتحوّل بها قيمةٌ مفقودة إلى قيمةٍ خاطئة لم يُنبّه إليها أحد.
ثمّ هناك الحدّ الفاصل بين النموذج والأنظمة التي يلامسها. استدعاءات النماذج تُخفق، وتنتهي مهلتها، وتُعاد محاولتها، وإعادةُ محاولةٍ تقيد المعاملة نفسها مرّتين أسوأ من الإخفاق الأصلي. لذا يجب أن يكون الإجراء الذي تُطلقه قيمةٌ متحقَّق منها مُتَكافئاً (idempotent): مُفهرَساً على السجلّ المصدري والفترة، بحيث تكون إعادة تشغيله عمليةً لا أثر لها بدلاً من قيدٍ ثانٍ. ابنِ مفتاح التكافؤ أوّلاً، قبل أن توصّل النموذج، لأنّ إعادات المحاولة ليست حالةً طرفيّةً هنا. إنّها حالة التشغيل المعتادة لأيّ شيءٍ يحادث نموذج LLM عبر شبكة.
لا شيء من هذا يجعل النموذج أذكى، بل يجعل مُخرجاته شيئاً يمكنك تحمّل تبعته والمساءلة عنه. النموذج يقترح قيمة؛ والمخطّط والمُتحقِّقات وطبقة التكافؤ هي التي تقرّر ما إذا كان مسموحاً لتلك القيمة أن تعني شيئاً. في المال، هذا الترتيب ليس اختيارياً. فالرقم الذي لا تستطيع فحصه هو رقمٌ لا تستطيع قيده.