عادةً ما تفشل قابلية تفسير النماذج في القطاع المالي في اللحظة التي تغادر فيها فريق علم البيانات. ففي دفتر الملاحظات (notebook) رسمٌ بياني مرتّب لملخص SHAP، ويستطيع باني النموذج أن يشرح أيُّ الخصائص ذات أثر، فيهز الجميع رؤوسهم موافقين. ثم يُحال النموذج إلى التحقق، أو يسأل عميلٌ عن سبب رفض طلبه، فيتبيّن أن التفسير الذي بدا كافيًا إنما يجيب عن سؤال مختلف عن السؤال المطروح فعلًا.
نادرًا ما تكون المشكلة في نقص الأساليب. بل في أن التفسير الموجَّه إلى جمهور مكوَّن من عالِم بيانات واحد، والتفسير الموجَّه إلى جهة تنظيمية أو مراجِع لمخاطر النماذج أو متقدِّم رُفض طلبه، ليسا التمرين نفسه، ومع ذلك يلجأ الناس إلى الأدوات ذاتها في كلتا الحالتين.
الشمولي ليس الموضعي
لنبدأ بتمييز يُطمَس باستمرار. التفسير الشمولي (global) يخبرك كيف يتصرف النموذج عبر مجمل المجتمع: أيُّ الخصائص أكثر وزنًا في المتوسط، وأين يقع حدّ القرار. أما التفسير الموضعي (local) فيخبرك لماذا حصل هذا المتقدِّم تحديدًا، في هذا التاريخ، على هذه الدرجة. إن أهمية الخصائص ومعظم النماذج البديلة (surrogate) شمولية. وهي مفيدة لفهم النموذج وللحديث مع المُحقِّق عن منطقه العام. لكنها تكاد تكون عديمة الجدوى حين يكون عليك أن تقدّم لشخص واحد سببًا لقرار واحد.
ويحتل SHAP موقعًا وسطًا محرجًا. فقيم SHAP تُحسب لكل تنبؤ على حدة، ومن ثَمّ فهي موضعية حقًّا، وهذا ما يدفع الفرق إلى الاعتماد عليها في توليد رموز الأسباب. لكن لها حدودًا يجدر ذكرها بوضوح:
- الخصائص المترابطة تتقاسم الأثر فيما بينها، فقد تظهر الإشارة الاقتصادية الواحدة على هيئة سببين كلٌّ منهما نصفُ قوة، فيبدوان كلاهما ضعيفين.
- مجموعة البيانات المرجعية (background) التي تختارها تُغيّر القيم. فتفسير SHAP نسبيٌّ إزاء توزيع مرجعي، وكثيرًا ما يغفل الناس عن تدوين التوزيع الذي اعتمدوه.
- قد تكون متغيرات SHAP التقريبية غير مستقرة من تشغيل إلى آخر، وهو أمر محرج حين يكون المُخرَج رقمًا تنشره للعميل.
أما النماذج البديلة، أي ملاءمة نموذج قابل للتفسير ليحاكي صندوقًا أسود، فلا تمنحك رواية إلا بقدر دقة ملاءمة النموذج البديل. وحيثما يختلف النموذج البديل عن النموذج الحقيقي يكون أشدّ ما تحتاج فيه إلى التفسير، وهو بالضبط الموضع الذي يكون فيه التفسير أقلّ جدارة بالثقة. فعامِل النموذج البديل الشمولي بوصفه رسمًا تقريبيًّا لسلوك النموذج، لا سببًا لأيّ قرار فردي.
رموز الأسباب أثرٌ خاضع للتنظيم
في إشعار الإجراء السلبي (adverse action notice) لا تحتاج إلى عَزْوٍ أمين لحسابات النموذج الداخلية. بل تحتاج إلى مجموعة صغيرة من الأسباب الدقيقة المرتَّبة، أسباب يستطيع المرء التصرف بناءً عليها، وتقابل حقًّا سببَ قصور درجته. وهذا مطلبٌ أضيق وأصعب من رسم SHAP بياني. إذ يجب أن تكون الأسباب مستقرة، ومصاغة بعوامل يتعرّف عليها المتقدِّم، وقابلة للتوفيق مع سلوك النموذج الفعلي لا أن تكون تبريرًا لاحقًا للوقائع.
تفسيران يبدوان متطابقين في نظر بانٍ للنماذج قد يقعان موقعًا شديد الاختلاف هنا. فعبارة «أسهم معدّل الاستخدام بمقدار -0.3 في اللوغاريتم الاحتمالي (log-odds)» تُرضي عالِم البيانات. لكنها لا تقدّم شيئًا للعميل، والجهة التنظيمية التي تراجع تقييم المطابقة تريد أن ترى أن رموز الأسباب وُلِّدت عبر إجراء موثَّق وقابل للتكرار مصحوب بمسار تدقيق (audit trail)، لا أنها قُدِّرت بالنظر إلى رسم بياني. والفجوة بين هذين الأمرين هي حيث تتهاوى بهدوء معظم برامج التفسير.
متى تتجاوز التفسير من أساسه
ثمة اختيار متكرر تؤجّله الفرق أكثر مما ينبغي: أتفسّر صندوقًا أسود بعد وقوع القرار، أم تستخدم نموذج تعلُّم آلي قابلًا للتفسير من البداية؟ إذا كان القرار عالي المخاطر، والمجتمع ممن تدين له بالأسباب، وكانت فجوة الدقة بين نموذج معزَّز بالتدرج رتيب (monotonic) أو بطاقة تسجيل مقيَّدة وبين الصندوق الأسود غير المقيَّد صغيرة، فإن النموذج القابل للتفسير يكون عادةً القرار الهندسي الأفضل. فتحصل على رموز أسباب هي النموذج ذاته لا تقريبًا له، ويغدو رصد الانحراف (drift) أيسر لأن البنية مقروءة.
والموقف الصادق هو أن التفسير اللاحق للنموذج أداةٌ للحالات التي يكلّفك فيها النموذج القابل للتفسير قدرًا من الأداء أكبر من أن يُقبَل. وليس ترقيةً مجانية تركّبها على أيّ نموذج لتجعله قابلًا للتدقيق. فاحسم في أيّ نظام أنت قبل التدريب، لا بعد أن يطرح عليك المُحقِّق سؤالًا تعجز عن الإجابة عنه.