الاستجابة للحوادث وفق DORA حين يكون الذكاء الاصطناعي هو مصدر مخاطر تقنية المعلومات (ICT)

بموجب لائحة DORA، يُعدّ أي نظام ذكاء اصطناعي يتعطّل حادثاً متعلقاً بتقنية المعلومات والاتصالات (ICT)، وإذا أدّى إلى تدهور وظيفة حرجة أو مهمة إلى ما دون عتبات التصنيف فإنه يتحوّل إلى حادث كبير تحكمه مهلة إبلاغ: إخطار أولي، وتقرير وسيط، وتقرير نهائي إلى سلطتك المختصة. الجانب المُربك هنا أن الذكاء الاصطناعي يتعطّل بصمت. فقد يستمرّ النموذج في تقديم الإجابات بينما تسوء جودتها، وهذا أمرٌ تحتسبه DORA أيضاً. لذا فإن العمل الحقيقي يكمن في الاكتشاف والتصنيف، لا في استمارة الإبلاغ.

بُنيت معظم عمليات الاستجابة للحوادث في البنوك حول أشياء تتوقّف: قناة مدفوعات تتعطّل، قاعدة بيانات ترفض الاتصالات، مهمة معالجة دفعية (batch job) تُخفق. أما الذكاء الاصطناعي فيمنحك فئةً لا تعالجها كتيّبات التشغيل تلك. فخدمة التسجيل (scoring) تعمل، وزمن الاستجابة طبيعي، ولوحة المعلومات خضراء، ومع ذلك تضاعف معدّل الإيجابيات الكاذبة (false-positive rate) في نموذج مراقبة المعاملات لديك منذ آخر تحديث لمخزن الميزات (feature store). ولم يُنبَّه أحد. وبموجب DORA يبقى هذا حادثاً متعلقاً بتقنية المعلومات والاتصالات إن مسّ وظيفة حرجة أو مهمة، بل إن كونك لم تلاحظه طوال ثلاثة أيام هو بحدّ ذاته النتيجة المُثيرة للقلق.

الاكتشاف يجب أن يصل إلى الأجزاء التي تتعطّل فيها النماذج بصمت

لا يمكنك تصنيف ما لم تكتشفه أصلاً، ولذلك فإن الاكتشاف هو المكان الذي تُوظَّف فيه الجهود والموارد. وبالنسبة لنظام الذكاء الاصطناعي، يُعدّ زمن التشغيل ومعدّلات الأخطاء الإشارات السهلة، وهي في الوقت نفسه الأقل فائدة. أما الإخفاقات التي تهمّ نموذج كشف الاحتيال، أو محرّك قرارات الائتمان، أو خدمة تحليل الكيانات في «اعرف عميلك» (KYC)، فهي انخفاضات في جودة المخرجات لا تمسّ أي مقياس من مقاييس البنية التحتية.

نحن نُهيّئ الاكتشاف على ثلاث طبقات، ونتعامل مع الطبقات الثلاث جميعاً بوصفها مصادر حوادث من الدرجة الأولى:

• البنية التحتية والتقديم (serving). الأمور الاعتيادية: زمن الاستجابة، والإنتاجية، وأخطاء HTTP، والمهل المنقضية (timeouts) على نقطة نهاية الاستدلال (inference endpoint) وعمليات البحث عن الميزات المُغذّية لها. فمخزن الميزات الذي يبدأ بإرجاع قيم قديمة هو حادث حتى وإن ظلّ النموذج يُرجع رموز 200.
• توزيعات المدخلات والمخرجات. الانحراف (drift) في متجهات الميزات الواردة، والانحراف في توزيع الدرجات التي يُصدرها النموذج. انهيار مفاجئ نحو فئة واحدة، أو مؤشر استقرار سكاني (population stability index) متحوّل، أو ارتفاع مفاجئ في الميزات الفارغة (null features) بسبب عملية ربط مُغذّية معطوبة. هذه هي أسلاك التنبيه للتدهور الصامت.
• مؤشّرات جودة القرار البديلة. حيث تتأخّر الحقيقة الأرضية (ground truth)، راقِب المؤشّرات البديلة التي يمكنك قياسها الآن: حجم التنبيهات مقابل ميزانية الإيجابيات الكاذبة، ومعدّل المعالجة الآلية الكاملة (straight-through processing)، ومعدّل التجاوز اليدوي (manual override)، ونسبة الحالات المُرسَلة إلى المراجعة البشرية. فحين يقفز معدّل التجاوز، فقد تغيّر شيء ما في المنبع (upstream) حتى وإن لم تستطع بعد تسميته.

طبقة التتبّع الأصلي (lineage) هي ما يُحوّل الإشارة إلى حادث يمكنك التصرّف حياله. فحين يُطلق الانحراف إنذاره، تحتاج إلى العودة تراجعياً من الدرجة إلى نسخة الميزة المحدّدة بدقّة، ولقطة بيانات التدريب، والمصدر المُغذّي الذي تحرّك. وبدون هذا التتبّع، يُقرأ تقرير الحادث «تدهور النموذج، السبب مجهول»، وهو ما لا يصمد أمام مُشرف يسأل عمّا غيّرته.

التصنيف هو القرار الذي يُطلق ساعة المهلة

لا تطلب منك DORA أن تُبلّغ عن كل شيء. بل تطلب منك التصنيف وفق المعايير الواردة في المادة 18 وفي اللائحة التفويضية للمفوضية بشأن تصنيف الحوادث الكبرى: العملاء والمعاملات المتأثرون، وفقدان البيانات، وتوقّف الخدمة، والانتشار الجغرافي، والأثر على السمعة، والكلفة الاقتصادية. فإن تجاوزت العتبات كان الحادث كبيراً يستوجب الإبلاغ الإلزامي. وإن ظلّ دونها أُدرج في سجلّك.

بالنسبة للذكاء الاصطناعي، تحتاج هذه المطابقة إلى ترجمة، وإجراء تلك الترجمة على الهواء أثناء وقوع الحادث يأتي متأخراً جداً. احسمها مُسبقاً:

• اربط كل نموذج بالوظيفة الحرجة أو المهمة التي يخدمها، وبالخدمة المُوجَّهة للعميل في مصبّه (downstream). فالنموذج المُنحرف لفحص العقوبات (sanctions screening) يمسّ وظيفة حرجة؛ أما نموذج ميل التسويق فلا يمسّها عادةً. والتصنيف يتبع الوظيفة، لا التقنية.
• عرّف ما يعنيه مصطلح «المتأثر» بالنسبة لنموذج متدهور، لا نموذج ميّت. فإذا أرجعت خدمة تسجيل إجاباتٍ خاطئةً بثقة طوال ست ساعات، فإن العملاء المتأثرين هم كل من تلقّى قراراً خلال تلك النافذة الزمنية، سواء أرجعت نقطة النهاية خطأً أم لم تُرجع.
• حدّد عتبات الجودة التي تُحوّل التدهور إلى حادث قبل أن تجد نفسك داخل حادث. فمعدّل إيجابيات كاذبة يتجاوز س لمدة تزيد على ص من الدقائق على نموذج مراقبة هو حادث له درجة خطورة، مُدوّن كتابةً، ومُتّفق عليه مع خط الدفاع الثاني.

سبب تثبيت هذه الأرقام مُسبقاً هو الساعة. فتصنيف الحادث على أنه كبير يُطلق ثلاث مهل بموجب المعايير الفنية التنظيمية (RTS) للإبلاغ: إخطار أولي خلال أربع ساعات من ذلك التصنيف وفي موعد لا يتجاوز 24 ساعة من لحظة علمك الأول به، وتقرير وسيط خلال 72 ساعة من الإخطار، وتقرير نهائي خلال شهر واحد من التقرير الوسيط. فإذا أمضى فريقك اليوم الأول في الجدال حول ما إذا كان تضاعف معدّل التجاوز «يُحتسب» أم لا، تأخّر التصنيف، وتأخّرت معه كل مهلة لاحقة. تلك ساعة من العمل التعريفي كان بوسعك إنجازها في غرفة هادئة.

سير عمل الإبلاغ، وسجلّ التدقيق الذي يقوم عليه

تقارير DORA الثلاثة تراكمية، ولذلك يجب أن يتراكم سجلّ الحادث تفصيلاً بنقاءٍ من الاكتشاف وصولاً إلى السبب الجذري. نحن نبني سير العمل بحيث يُغذّي سجلّ الأحداث الأساسي نفسه التقارير الثلاثة جميعاً، وبحيث يحمل كل قيد طابعاً زمنياً ولا يقبل التغيير (immutable).

• الإخطار الأولي. وقت الاكتشاف، والوظيفة المتأثرة، وتقدير أوّلي لدرجة الخطورة، وما تعرفه. وبالنسبة لحادث ذكاء اصطناعي يشمل ذلك تحديد النموذج، وأي نسخة منه، والإشارة التي أُطلقت، لا مجرد «تدهورت الخدمة».
• التقرير الوسيط. الأثر مُقدَّراً كمّياً مقابل معايير التصنيف، والاحتواء المُطبّق (الرجوع إلى القواعد، أو إعادة النموذج إلى النسخة السابقة، أو خنق المعالجة الآلية الكاملة لإجبار المراجعة البشرية)، والحالة الراهنة.
• التقرير النهائي. السبب الجذري مع إرفاق التتبّع الأصلي: المصدر المُغذّي الذي تحرّك، والميزة التي تقادمت، وإعادة التدريب التي أزاحت الحدّ الفاصل. هنا يتوقّف كشف الانحراف ومراقبة النموذج عن كونهما لوحات معلومات أنيقة، ليصيرا الدليل الذي يقرؤه المُشرف.

أمران يجعلان هذا يصمد عند اللقاء بمُفتّش. الأول: يجب أن يُظهر سجلّ التدقيق توقيت الاكتشاف ثم التصنيف ثم الإبلاغ، لأن DORA معنيّة بمدى نجاح عمليتك بقدر عنايتها بما تعطّل. فالفجوة بين لحظة تجاوز الانحراف للعتبة ولحظة تصنيف إنسانٍ له هي بذاتها ضعف في الضوابط. والثاني: حين يكون المكوّن المتعطّل قابعاً لدى مزوّد سحابي أو مورّد نماذج، تظلّ المسؤولية واقعةً على عاتقك، ولذلك يجب أن تعبر مراقبتك وامتدادك التعاقدي ذلك الحدّ. فالحادث الذي لا يمكنك رؤيته داخل بنية مورّدك هو حادث لا يمكنك الإبلاغ عنه في الوقت المحدّد.

النمط الذي يصمد نمطٌ غير برّاق. جهّز أدوات الرصد لمدخلات النموذج ومخرجاته ومؤشّرات قراره البديلة بالعناية نفسها التي توليها لزمن تشغيله. احسم عتبات التصنيف بينما لا شيء يحترق بعد. احتفظ بالتتبّع الأصلي كي يصير السبب الجذري استعلاماً، لا مشروع تنقيب أثري. عندئذٍ تصبح مهل الإبلاغ إجراءً شكلياً فوق نظامٍ كان يعرف الأمر سلفاً.