تعتقد فرق كثيرة أنها عالجت مسألة العدالة لمجرد أنها حذفت العِرق والجنس والعمر من مجموعة الخصائص. الحقل لم يَعُد موجودًا، إذن لا يمكن للنموذج أن يميّز. وهذا الاعتقاد بالذات هو موطن أغلب المخاطر الحقيقية.
النموذج المدرَّب على التنبؤ بالتعثر أو بالاستعداد للدفع سيعيد، عن طيب خاطر، بناء السمة المحمية انطلاقًا من أي وكلاء يبقون في البيانات. الرمز البريدي يحملها، والمهنة تحملها، وكذلك طبيعة سجل المعاملات لدى الشخص، والتجار الذين يدفع لهم، وتوقيت تدفقاته المالية الداخلة. احذف السمة المحمية، وسيُعيد نموذجٌ مرنٌ بما يكفي تشكيل بديلٍ قريب منها انطلاقًا من بقية البيانات، ثم يستعمله. التأثير ما زال داخل النموذج، لكنك فقدت القدرة على رؤيته مباشرة. هذا هو التمييز بالوكالة، وحذف حقلٍ واحد لا يزيله.
فالسؤال إذن ليس «هل استبعدنا السمة؟» بل «هل يتغيّر مُخرَج النموذج تبعًا للسمة، أيًّا كان المسار؟». والإجابة عن ذلك تتطلب اختبارًا، لا مجرد تفحُّص قائمة الخصائص.
أمران تختبرهما في الواقع
هناك إخفاقان متمايزان، وكلٌّ منهما يحتاج إلى اختبار مختلف.
- الأثر التمييزي: تقع قرارات النموذج على نحوٍ مختلف عبر الفئات المحمية، بصرف النظر عن النية. تقيسه على مستوى النتائج. ففي قرار ائتماني، قارِن معدلات الموافقة، أو توزيعات الدرجات، عبر الفئات وانظر إلى النِّسب. وفي التسعير، قارِن السعر أو المعدّل المعروض. ويبقى انضباط «اللحظة الزمنية» مهمًّا هنا أيضًا: فأنت تقارن النتائج التي كان النموذج سيُنتجها بناءً على البيانات المعروفة وقت اتخاذ القرار، لا على رؤيةٍ أُعيد ملؤها لاحقًا.
- التمييز بالوكالة: أعاد النموذج بناء السمة المحمية داخليًا. تختبره بأن تتساءل: إلى أي مدى تتنبأ خصائص النموذج، أو درجته، بالسمة المحمية التي يُفترض أنك أزلتها؟ فإن تنبّأت حفنة من الخصائص بانتماء الفئة بوضوح، فلديك وكيل، وغالبًا ما يمكنك تسميته بالاسم.
ويتطلب كلاهما شيئًا لا تحتفظ به فِرق كثيرة: السمات المحمية ذاتها، مُجنَّبةً على حِدة، تُستعمل للاختبار فقط ولا تُستعمل أبدًا كمدخلاتٍ للنموذج. لا يمكنك إجراء اختبار الإقراض العادل على بياناتٍ ألقيت فيها بالتسميات بعيدًا. لا بد أن تكون السمة موجودة في مكانٍ ما يتيح لك تقسيم البيانات بحسبها.
ابْنِ مجموعات الاختبار المُجنَّبة، ثم شغّلها وفق توقيتٍ منتظم
العدالة ليست شهادةً تُمنح مرة واحدة. فالنموذج ينحرف، والجمهور ينحرف، وتدفُّق بيانات جديد يغيّر شكل الوكلاء. والنموذج الذي اجتاز الاختبار في مارس قد يُخفق في سبتمبر دون أن يمسّ أحدٌ الشيفرة.
لذا فالعمل ذو طابعٍ بنيوي. نبني مجموعات اختبار مُجنَّبة، مقسَّمة بحسب كل سمة محمية ذات أهمية للمنتج، بحجمٍ يجعل الشرائح كبيرة بما يكفي لتقول شيئًا ذا دلالة. تُغذّي هذه المجموعات عملية اختبار تحيُّز تُنتج المقاييس ذاتها في كل مرة: نِسب الأثر التمييزي لكل فئة، ودرجات التنبؤ بالوكلاء، والخصائص التي تقف وراءها. وتجري هذه العملية وفق جدولٍ زمني. ونهاية كل ربع سنة إيقاعٌ طبيعي لكثير من جهات الإقراض، غير أن الفترة الصحيحة هي تلك التي تواكب سرعة حركة بياناتك.
ثم احتفظ بالنتائج. كل تشغيلة، مؤرَّخة، مع نسخة النموذج وطبعة البيانات التي عملت عليها. هذا هو منطق سجل التدقيق نفسه المعتمد في تتبُّع نسب البيانات: فحين يسأل مراجِعٌ عمّا إذا كان النموذج عادلًا يوم اتخذ قرارًا ما، فإن «نعتقد ذلك» ليست إجابة، بينما نتيجة اختبار مخزَّنة هي الإجابة. كما أنها تُنبئ فريقك متى بدأ مقياسٌ من مقاييس العدالة بالتراجع وأيُّ إصدارٍ حرّكه، تمامًا كما تلتقط مجموعة تقييمٍ تراجُعًا في الجودة.
أين يقع هذا من الجهات التنظيمية
ثمّة منظومتان جديرتان بأن تبقيا نُصب عينيك، ولا شيء مما يلي يُعدّ مشورةً قانونية.
تقوم قواعد الإقراض العادل في الولايات المتحدة على الأثر التمييزي وعلى القدرة على تفسير قرارٍ سلبي. فإشعار الإجراء السلبي ورموز أسبابه يجب أن يعكسا ما فعله النموذج فعلًا، وهو أمرٌ صعب إن لم تكن قد اختبرت قط ما فعله النموذج فعلًا. واختبار الأثر التمييزي هو الدليل على أن التفسير صادق.
ويصنّف EU AI Act قسطًا كبيرًا من تسجيل الائتمان ضمن الفئة عالية المخاطر، مع متطلباتٍ تتعلق بحوكمة البيانات والتوثيق وتقييم المطابقة. واختبار عدالةٍ مُجدوَل تُحفظ نتائجه هو طريقة ملموسة لإثبات أن العمل على التحيُّز قد أُنجز وأنه مستمر، بدلًا من مجرد إعلانه مرةً واحدة عند الإطلاق.
والخيط الناظم واحد في الموضعين. فإزالة حقلٍ ما مجرد ادّعاء. أمّا اختبارٌ أجريته، على مجموعةٍ مُجنَّبة، وفق جدولٍ زمني، ونتيجته مدوَّنة، فهو الدليل. فابْنِ الدليل.