بطاقات نماذج تخدم حوكمة النماذج المالية فعليًا

تجيب بطاقة النموذج المفيدة عن سؤال واحد لدى من يراجع النموذج: هل بوسعي اعتماد هذا، وما الذي أعتمده بالضبط؟ فهي تبيّن ما يقرّره النموذج، وعلى أيّ بيانات تعلّم، وكيف قِيس، وأين يخفق، ومن يتحمّل المسؤولية حين يخفق. والمحكّ هو أن يتمكّن مدقّق لم يلتقِ الفريق قط من التصرّف بناءً عليها وحدها.

معظم بطاقات النماذج لا تجتاز هذا المحكّ. تُقرأ كأنها هجين بين ورقة مواصفات وبيان صحفي: مخطّطات معمارية، ورقم دقّة بلا مقام، وفقرة عن العناية التي بُني بها النموذج. لا يستطيع المراجِع أن يفعل شيئًا بهذا. لا يستطيع أن يجزم هل سرّبت بياناتُ التدريب معلوماتٍ لن تكون متاحة للنموذج وقت الاستدلال (inference)، ولا هل جاء المقياس المُبلَّغ عنه من مجموعة محجوبة أم من مجموعة التدريب، ولا ماذا يحدث في نهاية الربع حين تتضخّم الأحجام. تبدو البطاقة وافية، لكنها لا تخبرك بشيء يمكنك الاعتراض عليه.

ابدأ من القرار، لا من المعمارية

أوّل ما يرد في البطاقة هو ما يُسمح للنموذج بأن يقرّره. أمّا وسم مثل «نموذج مراقبة المعاملات» فلا فائدة منه هنا. تحتاج البطاقة إلى حدّ التشغيل: هذا النموذج يمنح التحويلات البرقية درجاتٍ لأجل طابور مراجعة العقوبات (sanctions review queue)، وهو لا يحجب المدفوعات، ويصفّي بشرٌّ كلَّ تنبيه قبل الإفراج. تلك الجملة وحدها تحدّد ملف المخاطر بأكمله. فالنموذج الذي يرتّب الحالات لمراجعة بشرية يحمل تعرّضًا للمخاطر يختلف تمامًا عن نموذج مربوط بمعالجة مباشرة كاملة (straight-through processing)، ويحتاج المراجِع أن يعرف أيّهما بين يديه قبل أن يقرأ سطرًا آخر.

وإلى جانب القرار، سمِّ الشريحة السكانية المستهدفة. فالنموذج الائتماني المبني والمضبوط على مقترضين من الدرجة الأولى يتصرّف على نحوٍ لا يمكن التنبّؤ به مع المتقدّمين ذوي السجلات الائتمانية الرقيقة، وينبغي أن تقول البطاقة ذلك صراحةً بدل أن تترك القارئ يكتشفه في الإنتاج. نضع هنا ثلاثة أشياء:

• الاستخدام المقصود والشريحة المقصودة، كلٌّ في فقرة واحدة.
• الاستخدامات الخارجة عن النطاق، مصاغةً كمحظورات، لأنّ أحدهم سيحاول في نهاية المطاف إعادة توظيف النموذج لشيء لم يُقَس عليه قط.
• مالك القرار، أي الشخص في جانب الأعمال الذي يتحمّل مسؤولية النتيجة، لا الفريق الذي درّبه.

هذا السطر الأخير أهمّ ممّا يبدو. فحين يُنتج نموذج نتيجةً سيئة، يكون السؤال: من كان يملك القرار؟ وإن عجزت البطاقة عن تسميته، فالحوكمة المحيطة بالنموذج مكسورة أصلًا.

أصل البيانات هو حيث يظهر العمل الصادق

هذا هو القسم الذي يفصل بين بطاقة كُتبت لمراجِع وأخرى كُتبت لتبدو مكتملة. لا يثق مراجِع النموذج المالي بأيّ مقياس حتى يثق بالبيانات وراءه، ومعظم الطرق التي تنحرف بها هذه النماذج هي مشكلات بيانات ترتدي زيّ النمذجة.

تأتي أولًا صحّة اللحظة الزمنية (point-in-time correctness). فبالنسبة لأيّ سِمة مشتقّة من سلسلة زمنية، تبيّن البطاقة الطابع الزمني الذي حُسبت عنده السِمة «اعتبارًا من» (as-of)، وتؤكّد أنّ أيّ قيمة لاحقة لتاريخ التسمية لم تدخل التدريب. وتسرّب النظر إلى الأمام (lookahead leakage) هو أشيع عيب نجده في النماذج المالية وأكثرها تملّقًا، لأنه يجعل المقاييس دون اتصال (offline) تبدو ممتازة، حتى اللحظة التي يواجه فيها النموذج البيانات الحيّة. وإن عجزت البطاقة عن إثبات البناء وفق اللحظة الزمنية، فلا قيمة لقراءة أرقام التقييم التي تليها.

ثمّ نَسَب البيانات (lineage). ينبغي أن تتتبّع كل سِمة حتى نظام مصدر وتحويل، ويُفضَّل أن يكون ذلك عبر مخزن سِمات (feature store) لا عبر دفتر مذكرات لا يقدر أحد على إعادة تشغيله. نُدرج، لكل مجموعة سِمات، من أين أتت، وكيف طُوبقت مقابل نظام السِجل المرجعي (system of record)، وأيّ قاعدة لحلّ الكيانات (entity resolution) ربطت السجلات عبر المصادر. ويستحقّ حلّ الكيانات سطرًا خاصًا به، لأنّ عملية ربط تُسقط الكيانات أو تكرّرها بصمت ستحيّز النموذج بطرق لا يُظهرها أيّ مقياس إجمالي. كما ينبغي أن تسجّل البطاقة أيّ الحقول طُوبق وأيّها أُخذ على الثقة، لأنّ رقمًا تبلّغ عنه ثلاثة أنظمة تمهيدية بثلاث طرق مختلفة هو رقم سيرغب المراجِع في السؤال عنه.

• نظام المصدر وتاريخ الاستخراج لكل مجموعة سِمات.
• منطق «الاعتبار من» الذي يثبت صحّة اللحظة الزمنية.
• قواعد حلّ الكيانات والمطابقة، بما في ذلك الثغرات المعروفة.
• تعريف التسمية (label)، إضافةً إلى كيفية التحقّق منها لا مجرّد سحبها.

مقاييس يستطيع المراجِع أن يجادلها

رقم دقّة بلا مقام ليس دليلًا. يسمّي قسم المقاييس مجموعة التقييم، وحجمها، ونطاقها الزمني، وكيف جرى حجبها، ثمّ يُبلّغ عن الأداء بالوحدات التي تهمّ الأعمال. وبالنسبة لنموذج تنبيه، يعني ذلك ميزانية النتائج الإيجابية الكاذبة (false-positive budget): عند عتبة التشغيل، كم تنبيهًا لكل ألف معاملة، وكم منها يُصفّى بوصفه ضوضاء، وأيّ عبء على المحلّل يترتّب على ذلك. فالمراجِع الذي يعتمد نموذج مراقبة إنما يعتمد ذلك العبء بقدر ما يعتمد معدّل الاكتشاف.

رقم إجماليّ واحد يخفي أكثر ممّا ينبغي. قسِّم النتائج بحسب الشرائح المهمّة في التمويل: المنتج، والقناة، والجغرافيا، وأقدمية العميل، وحجم المعاملة. فالنموذج القويّ إجمالًا والضعيف مع العملاء الجدد يحمل مخاطرة محدّدة يمكن تسميتها، وينبغي أن تضع البطاقة تلك المخاطرة في الواجهة بدل أن تدع المدقّق يكتشفها بعد ثلاثة أشهر. كما نبيّن العتبة والمنطق وراءها. فالعتبة اختيار سياساتي بشأن ميزانية النتائج الإيجابية الكاذبة، لا ثابت تقنيّ، وموضعها أمام الشخص الذي يملك المفاضلة.

أنماط الإخفاق، والانحراف، وأثر التدقيق

القسم الأخير هو الذي تودّ الفرق تخطّيه أكثر من غيره، ويودّ المراجِعون قراءته أكثر من غيره. دوّن كيف يخفق النموذج، بعبارات ملموسة. أيّ المدخلات تدفعه خارج التوزيع (out of distribution)، وماذا يفعل حين تكون سِمة مفقودة أو بائتة، وما البديل حين يعجز عن منح الدرجات أصلًا. بيّن إشارات الانحراف (drift) التي ترصدها والعتبات التي تُطلق مراجعة، كي تصف البطاقة ضبطًا حيًّا لا لقطة لمرّة واحدة. فبطاقة نموذج لا تذكر الانحراف قطّ إنما تصف النموذج يوم وُلد، لا النموذج الذي يعمل الآن.

وأخيرًا، أثر التدقيق (audit trail): نسخة النموذج التي تصفها هذه البطاقة، ولقطة بيانات التدريب، وتثبيت الكود (code commit)، وسجلّ الاعتماد. فبطاقة لا يمكن ربطها بنسخة منشورة محدّدة ليست إلا زينة. أصدِر نسخًا من البطاقة مع المُخرَج (artifact)، كي يكون الجواب وثيقةً لا مشروع تنقيب أثريّ حين يسأل أحدهم بعد عام: ما الذي كان يعمل في نهاية الربع الماضي ولماذا اعتُمد؟