القرار الآلي الآمن: أين نرسم خط التدخل البشري في المسار (human-in-the-loop)

ارسم خط القرار الآلي حيث تفصل درجة التقييم (score) بين الجيد والسيّئ فصلاً نظيفاً بما يكفي لأن يكلّف قرارُ الآلة أقل من قرار الإنسان، ثم أَحِل ما تبقّى إلى المراجعة اليدوية. يمنحك هذا ثلاثة نطاقات: الموافقة الآلية والرفض الآلي، يُحدَّد حجم كلٍّ منهما انطلاقاً من توزيع الدرجات وحدود تحمّلك للخسارة، إضافة إلى نطاق إحالة بينهما حيث يكون النموذج غير واثق أو حيث تُفعَّل قاعدة سياسة معيّنة.

معظم الفرق تضبط العتبة بالمقلوب. تقرر أنها تريد أتمتة 80% من الحجم، فتبحث عن حدّ فاصل يحقق هذه النسبة، ثم تكتشف بعد ستة أشهر في منحنيات الأداء حسب فترة المنح (vintage) أن الموافقات الحدّية في ذلك النطاق تتعثّر بثلاثة أضعاف معدل المحفظة الأساسية. لا بد أن يسير الاتجاه في الطريق المعاكس. تنطلق مما يستطيع النموذج تمييزه فعلاً، فينتج معدل الأتمتة عن ذلك. الـ80% نتيجة، وهي غالباً أدنى من الرقم الذي طلبته جهة العمل.

حدِّد حجم النطاقات من درجة التقييم، لا من الهدف

نطاق الموافقة الآلية يكون قابلاً للدفاع عنه حين تكون نسبة التعثّر داخله منخفضة، ومستقرة عبر الشرائح، ومنخفضة بما يكفي لأن تكون كلفة القرار السيّئ العَرَضي أقل من كلفة إحالة كل واحد من تلك الطلبات إلى إنسان. هذه ثلاثة اختبارات منفصلة، ونسبة موافقة واحدة تخفيها جميعاً.

• رتّب العملاء بحسب درجة التقييم وانظر إلى نسبة التعثّر في كل عُشر (decile) أو في شرائح أدق. نطاق الموافقة الآلية هو قمة ذلك الترتيب حيث تبقى نسبة التعثّر دون حدّ رغبتك في المخاطرة، لا نسبة مئوية مستديرة اخترتها سلفاً.
• تحقق من ثبات النطاق عبر الشرائح. الحدّ الفاصل الذي يبدو نظيفاً على مجمل العملاء قد يخفي شريحة تُترجَم فيها الدرجة نفسها إلى نتيجة أسوأ بكثير: أصحاب الملفات الائتمانية الرقيقة (thin-file)، أو قناة استقطاب بعينها، أو نوع منتج واحد. إذا اختلفت نسبة التعثّر عند درجة معيّنة باختلاف الشريحة، فيجب أن يختلف النطاق باختلاف الشريحة أيضاً، وإلا انتقلت الشريحة إلى الإحالة.
• سعِّر الأخطاء. الإيجابية الكاذبة في الموافقة الآلية خسارة مُثبَتة في الدفاتر. أما الإيجابية الكاذبة في الرفض الآلي فهامش ضائع، ويُضاف إليها أحياناً قرار ذو صلة بقانون ECOA صار عليك تبريره. هذان غير متماثلين، ومن ثمّ فالحدّان الفاصلان غير متماثلين أيضاً. نحدد سقفاً للإيجابيات الكاذبة على كل جانب وندعه يحكم عرض كل نطاق.

حواف النطاقات تقديرات، وللتقديرات هوامش خطأ. قرب الحدّ الفاصل تؤدي الدرجة أضعف عمل لها، لأن هذا بالتعريف هو الموضع الذي يتداخل فيه المتقدمون الجيدون والسيّئون أكثر ما يكون. نحن نوسّع نطاق الإحالة حول كل حافة بدل التظاهر بأن الحدّ خط نظيف. الطلبات التي تقع ضمن مجال الثقة (confidence interval) للحدّ الفاصل تذهب إلى إنسان، لأن تلك بالضبط هي الفئة التي يقلب فيها خطأ نموذجي صغير القرار.

قواعد الإحالة سياسة، لا مكبّ نفايات

يلتقط نطاق الإحالة أمرين مختلفين، ويفيد الفصل بينهما. الأول عدم يقين النموذج، وتعالجه عروض النطاقات المذكورة أعلاه. والثاني السياسة: حالات قررت فيها أن على إنسان أن ينظر بصرف النظر عمّا تقوله الدرجة. هذه قواعد صارمة، وينبغي أن تعيش في محرك القرار كمنطق صريح ومُصدَّر بإصدارات (versioned)، لا مدفونة في وزن نموذجي حيث لا يراها أحد.

إحالات سياسة نموذجية: درجة تختلف اختلافاً حاداً مع علامة من مكتب الائتمان، أو طلب تتكئ فيه القدرة على السداد على دخل عجز خط أنابيب التدفق النقدي (cash-flow) عن التحقق منه على مدى دورة كاملة، أو قيمة تتجاوز حداً معيّناً، أو مستند رسب في فحص الاتساق، أو متقدم يظهر في مطابقة احتيال سابق أو في مطابقة تحديد هوية الكيان (entity resolution). كل من هذه سبب مُعلَن لتجاوز المسار الآلي، وكل منها ينبغي تسجيله مقروناً بالقاعدة التي فُعِّلت حتى تتمكن من تدقيق سبب سحب الطلب.

يظهر هنا نمطا فشل. الأول طابور إحالة ينمو أسرع مما يستطيع المحللون تصريفه، فيتحوّل المعالجة المباشرة خلسة إلى تراكم أعمال بخطوات إضافية. والثاني نقيضه: قواعد مكتوبة بتراخٍ حتى لا يُحال شيء تقريباً، فلا تحدث فعلاً المراجعة اليدوية التي كانت الحوكمة تعوّل عليها. كلاهما قابل للقياس. نتتبع معدل الإحالة لكل قاعدة وعُمر الطابور، ونعامل القاعدة التي لا تُفعَّل أبداً أو تلك التي تُفعَّل على ثلث الحجم بوصفها خللاً يستحق التحقيق، لا حالة مستقرة.

التقط التجاوز، ثم أغلِق الحلقة

الغاية من إبقاء إنسان في المسار تضيع إذا تبخّر قرار الإنسان في ملاحظة غير مهيكلة. كل نتيجة يدوية على طلب مُحال هي نقطة بيانات موسومة (labelled) عن الفئة نفسها التي يجدها النموذج أصعب ما يكون، وهي أثمن وسم لديك. التقطها كبيانات مهيكلة لحظة اتخاذ القرار.

• سجّل قرار المحلل، ودرجة التقييم وقت القرار، والقاعدة أو حالة عدم اليقين التي أطلقت الإحالة، والسبب الذي أورده المحلل، وهوية المحلل. هذه هي المادة الخام لكلٍّ من سجل التدقيق والنموذج التالي.
• احتفظ بالتجاوزات كوسم مستقل. المحلل الذي يوافق دون نطاق الرفض الآلي، أو يرفض داخل نطاق الموافقة الآلية، يخبرك بشيء أغفله النموذج أو أخطأ فيه. تغذية هذه الحالات مباشرة إلى التدريب دون مراجعة تتيح لحُكم محلل واحد، أو لتحيّزه، أن ينتشر بصمت. نحن نستبعد التجاوزات من مجموعة التدريب الأساسية حتى تجتاز مراجعة، ونراقب معدلات التجاوز بحسب المحلل وبحسب المؤشرات البديلة للفئات المحمية (protected-class proxy) حتى يطفو أي نمط مُنحرِف قبل أن يصل إلى نموذج.
• اربط نتيجة الإحالة بمنطق الإجراء السلبي. حين تنتهي الإحالة بالرفض، يجب أن تعكس رموز الأسباب ما رجّح النتيجة فعلاً، بما في ذلك العوامل اليدوية. وجود إنسان في المسار لا يخفف التزام الإشعار؛ بل يضيف مصدراً للأسباب لا بد من التقاطه بدقة.

ثم أغلِق الحلقة ببيانات فترة المنح (vintage). الاختبار الأمين الوحيد لموضع الخط الذي رسمته هو كيف يؤدي نطاق الموافقة الآلية بعد أن تنضج القروض. راقب نسبة التعثّر داخل نطاق الموافقة الآلية مقابل نطاق الإحالة الذي أراد النموذج إرساله إلى إنسان. إذا كانت الطلبات المُحالة التي انتهيت إلى الموافقة عليها تؤدي بجودة مماثلة للطلبات المُوافَق عليها آلياً، فالنطاق أضيق مما ينبغي وأنت تدفع لمحللين ليراجعوا عملاً جيداً. وإذا كان قاع نطاق الموافقة الآلية ينزاح نحو معدل خسارة نطاق الإحالة، فالخط قد تحرّك والنموذج قد تقادم. هذا يجعل العتبة أداة تحكّم حيّة. تراقبها بالانضباط نفسه الذي تطبقه على أي نموذج في الإنتاج، وتحرّكها حين تقول بيانات فترة المنح إن الفئة الكامنة تحتها قد تغيّرت.