محرّك القرار مقابل محرّك القواعد: ما الذي يتغيّر عندما تدخل النماذج إلى الإقراض

محرّك القواعد يشغّل شروطًا كتبها إنسان بيده: إن تجاوزت نسبة الدين إلى الدخل أربعين بالمئة وكانت درجة مكتب الائتمان دون 680، فارفض. أمّا محرّك القرار فهو المنظومة الأوسع التي تصل إلى نتيجة إقراضية وتسجّلها. وبمجرّد أن يجلس نموذج داخلها، تنتقل المسألة الصعبة إلى موضع آخر. المنطق سهل؛ التحدّي هو معرفة أيّ المدخلات وأيّ إصدار نموذج وأيّ مجموعة قواعد أنتجت قرارًا بعينه، ثمّ إعادة بناء الثلاثة جميعًا بعد أشهر.

نوعان مختلفان من الأنظمة

محرّك القواعد حتمي (deterministic) ومقروء. يمكنك قراءة الشجرة، وتتبّع المسار الذي سلكه طلبٌ ما، وتفسير النتيجة لأيّ كان. هذه قوّته، وهي سبب بقائه في الائتمان طوال عقود. أمّا نقطة ضعفه فهي أنّ كلّ قاعدة فرضيّةٌ بشرية عن المخاطر، والعتبات تُحدَّد بلجنة ونادرًا ما يُعاد النظر فيها، والمحرّك لا ذاكرة لديه عن سبب خروج القرار على النحو الذي خرج به فيما يتجاوز القواعد نفسها.

محرّك القرار الذي يضمّ نموذجًا في داخله يغيّر ماهية القرار من أساسه. صارت المخرجات تعتمد على قيم خصائص محسوبة من بيانات لا تكفّ عن التحرّك، وعلى إصدار نموذج يُعاد تدريبه، وعلى قواعد ما زالت تلفّ الدرجة. فالمتقدّم نفسه الذي حصل على درجة يوم الثلاثاء ثمّ حصل على أخرى بعد نشر يوم الخميس قد يتلقّى إجابتين مختلفتين، وكلتاهما صحيحة. لذا يتعيّن على المحرّك أن يحمل أشياء لم يحتجها محرّك القواعد يومًا:

• متجه الخصائص (feature vector) الدقيق المستخدَم، محسوبًا كما هو عند طابع وقت القرار، من غير أيّ قيمة لم تصبح معلومة إلّا لاحقًا
• إصدار النموذج وإصدار مجموعة القواعد، مثبَّتَين على معرّف القرار
• تتبّع النسب (lineage) من كلّ خاصية رجوعًا إلى السجلّ المصدر واللحظة التي قُرئت فيها
• أثرٌ تدقيقي (audit trail) يدعم إعادة التشغيل، لا مجرّد سطر سجلّ يذكر النتيجة

إن فاتك أيٌّ من هذه، فلديك نظام يتّخذ قرارات لا تستطيع الدفاع عنها لاحقًا. وفي الإقراض ليست هذه مجرّد مشقّة تقنية. فبموجب قانون تكافؤ فرص الائتمان (ECOA) واللائحة B (Regulation B) يُستحقّ للمتقدّم المرفوض أسبابٌ محدّدة، ورمز السبب (reason code) الذي لا تستطيع تتبّعه رجوعًا إلى المدخلات هو رمز سبب لا يمكنك أن تقف خلفه.

الصحّة عند النقطة الزمنية هي حيث تنهار عمليات النقل

نمط الفشل الذي يُفسد اتخاذ القرار بتعلّم الآلة بهدوء هو التطلّع إلى المستقبل (lookahead). فالخاصية التي تُسرّب معلومات مستقبلية تنفخ الدقّة في وضع عدم الاتصال (offline) ثمّ تنهار في الإنتاج، لأنّ القيمة التي اعتمدت عليها لم تكن موجودة بعدُ وقت القرار.

المثال الكلاسيكي: خاصية “متوسّط الرصيد خلال آخر 90 يومًا” محسوبة مقابل الجدول الحالي بدل الجدول كما كان عند القرار. فإن قُيِّدت معاملة أو صُحِّحت بعد القرار، تسرّبت إلى الخاصية وتعلّم النموذج من معلومة لم يمتلكها النظام الحقيقي قطّ. والتدريب على ذلك يُنتج نموذجًا يبدو ممتازًا على مجموعة التقييم (eval set) ويؤدّي دون المستوى يوم إطلاقه.

ضبط هذا كما ينبغي يعني أن تكون كلّ خاصية قابلة لإعادة البناء من بيانات كانت موجودة عند طابع وقت القرار، وأن تأتي عناوين التدريب (training labels) من نافذة لاحقة تمامًا وغير متداخلة. ومخزن الخصائص (feature store) الذي يفرض عمليات الربط عند نقطة زمنية محدّدة (point-in-time joins) هو ما يجعل هذا يصمد على نطاق واسع، لأنّه يمنع المهندسين من الربط عرَضًا بالقيم الراهنة. وحين ننقل مقرضًا من القواعد الصرفة، يكون هذا أوّل ما نبنيه وآخر ما نساوم عليه. والتوفيق (reconciliation) بين مخزن الخصائص في وضع عدم الاتصال ومسار التقديم الحيّ (online serving path) ليس اختياريًا: فإن اختلفت القيمة التي يراها النموذج في الإنتاج عن القيمة التي دُرّب عليها، كانت الدرجة خاطئة على نحو لن تلتقطه المراقبة إلا بعد أن يكون متقدّمون حقيقيون قد تضرّروا.

كيف ننقل القواعد القديمة إلى منظومة قرار محوكَمة

أنت لا تقتلع محرّك قواعد يعمل وتستبدل به نموذجًا. فالقواعد تختزن سنوات من السياسة، بعضها تنظيمي، ومعظم المقرضين لا يستطيعون التعبير عنها كاملة إلّا حين يحاولون إزالتها. النقل تدريجي، ويشغّل المنطقين القديم والجديد جنبًا إلى جنب قبل وقت طويل من أن يمسّ النموذج أيّ موافقة.

• جهّز المحرّك القائم بالقياس (instrument) أوّلًا، بحيث يُلتقَط كلّ قرار قديم مع مدخلاته ونتيجته. يصير ذلك السجلّ خطّ الأساس الذي تقيس النموذج عليه، ومع الحذر من التسريب (leakage) يصبح جزءًا من بيانات التدريب.
• افصل السياسة الصارمة عن ترتيب المخاطر. الحدود التنظيمية الدنيا، وفحص العقوبات، وسقوف التعرّض، وأهلية المنتج تبقى قواعد صريحة خارج النموذج. ويتولّى النموذج الترتيب والتسعير ضمن المساحة التي تسمح بها تلك القواعد.
• شغّل النموذج في الظلّ (shadow). فهو يعطي درجات لحركة المرور الحيّة ويسجّل ما كان سيقرّره، بينما يظلّ محرّك القواعد صاحب القرار الفعلي. تقارن التوزيعات والاختلافات والحالات التي كان النموذج سيقلب فيها النتيجة، وتبني ميزانية الإيجابيات الكاذبة (false-positive budget) التي أنت مستعدّ لإنفاقها قبل أن يخرج أيّ شيء إلى الإنتاج.
• انتقل إلى البطل-والمنافس (champion-challenger) فقط بعد أن تصمد نتائج الظلّ. تبقى السياسة القائمة بطلًا؛ ويأخذ النموذج حصّة محسوبة من حركة المرور بوصفه منافسًا، مع التحكّم في التقسيم وقابلية كلّ قرار لإعادة التشغيل.
• عامِل كلّ تغيير في السياسة بوصفه نشرًا (deployment). فتعديلات القواعد وإصدارات النموذج تمرّ بمسار المراجعة والإصدار والتراجع (rollback) نفسه الذي يمرّ به رمز التطبيق، بحيث يكون تغيير عتبة يوم الجمعة قابلًا للتتبّع تمامًا كإصدار رمز.

المعالجة المباشرة من طرف إلى طرف (straight-through processing) هي الهدف في الحالات النظيفة، أي الطلبات التي يتّفق فيها النموذج والقواعد بثقة عالية ولا يحتاج أن يلمسها إنسان. لكنّ المعالجة المباشرة لا تصمد إلّا حين يمكن تفكيك القرارات القائمة خلفها عند الطلب. وهذا هو الفرق الحقيقي بين النظامين. محرّك القواعد يفسّر نفسه لأنّه بسيط. أمّا محرّك القرار فيجب أن يُبنى ليفسّر نفسه، لأنّ النموذج الذي في داخله لن يفعل، ولأنّ الانحراف (drift) سيجعل تفسير الأمس خاطئًا إن لم يسجّل شيءٌ الإصدارَ الذي أنتجه.