إذا وقع نظام الذكاء الاصطناعي لديك ضمن فئة عالية المخاطر في الملحق الثالث (Annex III) من قانون الذكاء الاصطناعي الأوروبي (EU AI Act)، فأنت مُلزَم بإعداد حزمة توثيق تقني قبل إطلاقه. تحدّد المادة 11 (Article 11) والملحق الرابع (Annex IV) ما تحتويه هذه الحزمة: وصف للنظام، والبيانات التي دُرِّب واختُبِر عليها، وأداؤه وحدوده، والرقابة البشرية المحيطة به، والمراقبة التي تُجريها بعد النشر. ويجب أن تكون الحزمة محدَّثة، وأن يتمكّن المُقيِّم من متابعة محتواها.
هذا الشرط الثاني هو حيث تستهين معظم الفرق بحجم المهمة. قائمة العناوين في الملحق الرابع قصيرة وسهلة القراءة، ويمكن لعرض تلخيصي أن يغطّيها كلها. أما إنتاج دليل تحت كل عنوان يستطيع المراجِع تتبّعه رجوعًا إلى نظام، أو إصدار محدَّد من مجموعة بيانات، أو جولة تقييم، فتلك مهمة مختلفة تمامًا. إنها عمل هندسي.
ما الذي يطلبه الملحق الرابع (Annex IV) فعليًا
الملحق الرابع بنية من تسع نقاط. حين تقرؤه على نحو مباشر، فهو يطلب:
- وصفًا عامًا للنظام: الغرض المقصود، والأشخاص الذين طوّروه، والإصدارات، وكيفية تفاعله مع البرمجيات الأخرى.
- تفاصيل كيفية بنائه: الخيارات التصميمية، ومعمارية النموذج، والبيانات، ومنهجية التدريب، بما في ذلك ما فعلته حيال الحدود المعروفة.
- التحقق والاختبار: المقاييس التي استخدمتها، والنتائج، وحدود الدقة، والسجلّات التي تدعمها.
- نظام إدارة المخاطر، مربوطًا بالمادة 9 (Article 9).
- التغييرات التي أجريتها عبر دورة الحياة وأسبابها.
- المعايير المنسّقة (harmonised standards) التي طبّقتها، أو الحلول التقنية التي استخدمتها بدلًا منها.
- نسخة من إعلان المطابقة الأوروبي (EU declaration of conformity).
- خطة المراقبة بعد الطرح في السوق (post-market monitoring plan).
بالنسبة إلى نظام في مجال التقنية المالية (fintech)، هنا تُوضع التجريدات على المحكّ. “وصف البيانات” ليس فقرة عابرة. فبالنسبة إلى نموذج لمراقبة المعاملات (transaction monitoring)، يعني ذلك الأنظمة المصدرية، وكيفية إجراء تحليل هوية الكيانات (entity resolution)، وكيف أثبتّ الصحة عند نقطة زمنية محددة (point-in-time correctness)، وما فعلته لإبقاء خصائص التدريب خالية من التطلّع المستقبلي (lookahead). سيسأل مُقيِّم يعرف المجال: كيف انتهى الأمر بخاصية محسوبة من تجميع لربع سنة كامل إلى داخل نموذج يُقيّم حدثًا في منتصف ذلك الربع؟ فإن كان جوابك موجودًا فقط في ذهن عالِم بيانات، فإن التوثيق لا يصمد.
اجمعه بوصفه دليلًا
النمط الأكثر شيوعًا للفشل الذي نراه هو وثيقة تُكتب بأثر رجعي على يد شخص يصف ما يعتقد أن الفريق قد فعله. تقرأ جيدًا، لكنها لا تصمد أمام السؤال الثاني. والعلاج هو استمداد كل قسم من أقسام الملحق الرابع من نظام سجلّ (system of record)، وجعل النص السردي يحيل إليه.
عمليًا، يعني هذا:
- أوصاف مجموعات البيانات تُستمَد من السلالة (lineage). كل مجموعة تدريب وتقييم تحمل إصدارًا، والاستعلامات أو المقتطفات التي أنتجتها، ومطابقة (reconciliation) ترجع إلى دفتر الأستاذ المصدري بحيث تتّسق أعداد الصفوف والإجماليات مع الدفاتر.
- مدخلات النماذج تأتي من جرد (inventory). الإصدار المدوَّن في التوثيق هو الإصدار المسجَّل نفسه، بالمُعرِّف ذاته الذي تستخدمه أنظمة إدارة التغيير والمراقبة.
- أقسام الأداء تُرفق بجولات التقييم ذاتها: مجموعة التقييم، والمقاييس المحسوبة عليها، ومصفوفة الالتباس (confusion matrix)، والموضع الذي حُدِّدت عنده موازنة الإيجابيات الكاذبة (false-positive budget) لطابور التنبيهات الذي يعمل عليه إنسان.
- قسم الحدود يسمّي الشرائح التي تنخفض فيها الدقة: العملاء ذوو السجل الائتماني الرقيق (thin-file)، ممرّ جديد، منتج أُطلق بعد قطع بيانات التدريب. قُل أين يكون النموذج ضعيفًا، وأي رقابة تغطّي ذلك الضعف.
حين تُجمَّع الوثيقة من هذه المصادر، يصبح تحديثها خطوة بناء (build step). فكل إعادة تدريب تنتج إصدارًا جديدًا لمجموعة البيانات، ومدخلًا جديدًا في الجرد، وجولة تقييم جديدة، وتُعاد توليد الأقسام المقابلة تلقائيًا. هكذا تمنع اشتراط “التحديث المستمر” الوارد في المادة 11 من التحوّل إلى التزام قائم دائمًا فوق رأسك.
خيط إدارة المخاطر يجب أن يكون حقيقيًا
تشير النقطة الرابعة من الملحق الرابع إلى نظام إدارة المخاطر المنصوص عليه في المادة 9 (Article 9)، وهذا هو الجزء الذي لا يمكنك توليده آليًا. تطلب المادة 9 عملية مستمرة: تحديد المخاطر التي يطرحها النظام، وتقديرها، وتقرير ما هو مقبول، ووضع التدابير موضع التنفيذ، والتحقق من نجاعتها بمجرد تشغيل النظام.
بالنسبة إلى نموذج ائتماني أو نموذج لكشف الاحتيال، تُقرأ الصيغة الصادقة لهذا وكأنها تحليل ما بعد الحادثة (post-mortem) هندسي مكتوب مسبقًا. ماذا يحدث حين تنحرف بيانات المدخلات. كم يكلّف قرار خاطئ شخصًا حقيقيًا، وكيف يعترض عليه. أين يُسمح بالمعالجة الآلية الكاملة (straight-through processing) وأين يجب أن يوقّع إنسان. ماذا تراقب أدوات المراقبة، وعند أي عتبات تُصعّد، ومن يحمل جهاز الاستدعاء (pager). وسجلّ التدقيق (audit trail) الذي يتيح لك، بعد أشهر، إعادة بناء سبب حصول متقدّم بعينه على قرار بعينه.
يقرأ المُقيِّمون هذا القسم بحثًا عمّا إذا كانت التدابير مرتبطة فعلًا بالمخاطر. فعبارة عامة مثل “النموذج مُراقَب بحثًا عن الانحراف” تستحق سؤالًا للمتابعة: مُراقَب على أي خصائص، ومقابل أي نافذة مرجعية (reference window)، وماذا يحدث في نهاية الربع حين تتغيّر الأحجام لأسباب لا علاقة لها بالنموذج البتّة؟ فإن أجابت خطة المراقبة عن ذلك، فإن التوثيق يؤدّي وظيفته. وإن لم تُجب، فإن الثغرة في النظام نفسه، والوثيقة لم تفعل سوى أنها كشفتها.
أين تنهار الحزمة عادةً
ثلاثة أمور تكون غالبًا غائبة حين نفتح مسوّدة. أولًا، سلالة البيانات لا تتطابق في المطابقة، فلا يمكن إثبات “وصف البيانات”. ثانيًا، أرقام التقييم في الوثيقة لا تطابق أي جولة مخزَّنة، لأنها أُعيد كتابتها يدويًا من دفتر ملاحظات (notebook) تغيّر منذ ذلك الحين. ثالثًا، الرقابة البشرية الموصوفة على الورق ليست هي الرقابة القائمة في الإنتاج، حيث بُدِّل الطابور بصمت إلى تصفية آلية (auto-clear) تحت ضغط الحمل.
كل واحد من هذه الأمور قابل للإصلاح، وكلٌّ منها أرخص إصلاحًا بوصفه خاصية في النظام مقارنةً بتعديل في الوثيقة. ابنِ السلالة بحيث يثبت قسم البيانات نفسه بنفسه. سجّل النماذج بحيث يكون الإصدار الموجود في الملف هو الإصدار الموجود في الإنتاج. سجّل جولات التقييم بحيث تصبح الأرقام استشهادات يمكنك الإشارة إليها. افعل ذلك، ويتحول الملحق الرابع إلى تقرير تُعيد توليده عند الطلب، وهذا بالضبط ما يجب أن يكونه حين يأتي أحدهم للتدقيق.
الأسئلة الشائعة
هل يجب أن يكون التوثيق التقني مكتملًا قبل إطلاق النظام إلى الإنتاج؟
نعم. تشترط المادة 11 (Article 11) أن يكون التوثيق موجودًا ومُحدَّثًا قبل طرح نظام عالي المخاطر في السوق أو وضعه في الخدمة، وأن يستند إليه تقييم المطابقة (conformity assessment). إن حمل التوثيق تاريخًا لاحقًا لتاريخ الإطلاق، فهذا مؤشر على أن التقييم جرى على شيء لم يكن قائمًا بعد.
هل يمكن أن تحلّ بطاقة النموذج (model card) الخاصة بأحد المورّدين محلّ الملحق الرابع (Annex IV)؟
لا. بطاقة النموذج تغطّي عادةً النموذج بمعزل عن غيره. أما الملحق الرابع فيطلب النظام بأكمله: حوكمة البيانات المحيطة به، وتدابير الرقابة البشرية، والمراقبة التي تُجريها في الإنتاج، وإدارة المخاطر التي تربط كل ذلك معًا. يمكنك الإحالة إلى وثيقة من المورّد، لكنك تظلّ المالك للحزمة على مستوى النظام.
ما مقدار ما يمكن توليده تلقائيًا من الملحق الرابع (Annex IV)؟
الأجزاء المدعومة بالأنظمة: سلالة مجموعات البيانات (dataset lineage)، ومدخلات جرد النماذج (model inventory)، وجولات التقييم (evaluation runs)، وسجلّات الانحراف والمراقبة (drift and monitoring logs). أما الأجزاء التي تتطلّب حكمًا واجتهادًا، مثل مبرّرات إدارة المخاطر وتصميم الرقابة البشرية، فيجب أن يكتبها أشخاص قادرون على الدفاع عنها. اجعل هدفك تعبئة الأدلة تلقائيًا وكتابة المنطق والتعليل يدويًا.