جودة بيانات السوق مشكلة نموذج لا مشكلة بنية تحتية

تتعامل الفرق مع جودة بيانات السوق باعتبارها شأنًا من شؤون البنية التحتية، أمرًا تتولّاه الأنابيب الخلفية قبل أن يبدأ العمل المثير للاهتمام. ثم يبدأ نموذج دُرّب على تلك البيانات في إنتاج أرقام لا يستطيع أحد الدفاع عنها، فيقود التحليل اللاحق إلى سعر متجمّد أو تغذية بيانات اختلفت مع تغذية أخرى. لم تكن مشكلة الجودة منفصلة عن النموذج في أي لحظة، بل كانت مُدخَله، والنموذج لا يعرف إلا ما أخبره به مُدخَله.

وهذا الأمر أكثر أهمية في حالة الذكاء الاصطناعي والـ ML منه في حالة لوحة معلومات يقرأها إنسان. فالشخص الذي يلقي نظرة على رسم بياني للأسعار سيلاحظ قفزة تهبط إلى الصفر ثم تعود. أما نموذج التعزيز التدرّجي (gradient-boosted) فسيُطابِقها. مشكلات الجودة الصامتة لا تُعلن عن نفسها كأخطاء، بل تُتعلَّم وتُرجَّح وتتحوّل إلى مُخرَجات تنطق بها بثقة. هذا هو نمط الإخفاق الذي يستحق جُلّ انتباهك.

الأشكال التي تتخذها بيانات السوق المعطوبة

تصل بيانات السوق والبيانات المرجعية معطوبة بعدد محدود من الأشكال التي يسهل التعرّف عليها، ومن المفيد تسميتها بدل معاملة كل حادثة كأنها مفاجأة:

• الفجوات. يتوقّف رمز عن إصدار أسعار لفترة. لا تُخطئ خطوط المعالجة، بل تكتفي بصفوف أقل، فإذا بميزة تحسب المتوسط على نافذة زمنية تحسبه بهدوء على النافذة الخطأ.
• الأسعار المتجمّدة. يتكرّر السعر نفسه لأن التغذية صمتت، لا لأن السوق هدأ. فتنهار ميزات التذبذب نحو الصفر في اللحظة التي يكون فيها السوق أبعد ما يكون عن الهدوء.
• القيم الشاذة. سعر أُدخِل خطأً بالأصابع، أو انزياح في الفاصلة العشرية، أو رسالة اختبار تسرّبت إلى تغذية الإنتاج. قيمة واحدة مقدارها 1,400 حيث كان المقصود 14 تُزيح المتوسط وتُفسد عملية التسوية (normalisation).
• عدم تطابق المناطق الزمنية والتقويمات. تُؤرّخ تغذية بالتوقيت المحلي للبورصة، وأخرى بتوقيت UTC. ويختلّ تقويم عُطلة بمقدار سوق واحدة. فتتصاحب الشموع حسب الفهرس لا حسب الواقع، فيتسرّب إليك تسريب استشرافي (lookahead leakage) لا تراه.
• تصحيحات المزوّدين. يصحّح مزوّد بياناته التاريخية بأثر رجعي. فالقيمة التي دُرّبت عليها الشهر الماضي ليست القيمة التي تُعيدها التغذية اليوم، فتصف مجموعة تدريبك وبياناتك الحيّة ماضِيَين مختلفين.
• قيم متضاربة بين التغذيات. يُسعّر مزوّدان الأداة نفسها ويختلفان على سعر الإغلاق. فأيّهما وقع عليه اختيار عملية الدمج (join) لديك يصبح الحقيقة المرجعية بمحض الصدفة.

تستحق تصحيحات المزوّدين وقفة ثانية لأنها أهدأ هذه الأشكال جميعًا. فالتصحيح الذي لا يحمل طابعًا زمنيًا (vintage) لا يُعطّل شيئًا ظاهرًا. كل ما هنالك أن اختبارًا رجعيًا (backtest) تُجريه اليوم لم يعد يطابق الاختبار الذي أجريته حين اعتمدت النموذج، ولا سجلّ لديك يفسّر السبب. وإن لم تلتقط القيمة كما كانت عند كل تاريخ، فُقدِت الصحّة عند نقطة زمنية محددة (point-in-time)، وضاع معها أي ادّعاء صادق بشأن ما كان النموذج ليعرفه.

التحقق والمطابقة والتنبيه

ينقسم العمل إلى ثلاث مهام يعزّز بعضها بعضًا.

التحقق من البيانات مجموعة قواعد تعمل على كل دُفعة قبل أن تراها أي جهة لاحقة. بعضها رخيص ومُطلَق: الأسعار موجبة، والطوابع الزمنية تقع داخل ساعات التداول وفق التقويم الصحيح، ولا مفاتيح مكرّرة. وبعضها الآخر إحصائي. وكشف القيم الشاذة هنا أقلّ تعلّقًا بخوارزمية بارعة وأكثر تعلّقًا باختيار خط أساس يناسب الأداة. فالسهم الكبير عالي السيولة والسند ضعيف التداول يحتاجان نطاقَين مختلفين، والعائد الذي يبعد ستة انحرافات معيارية عن نافذة متدحرجة يستحق الحجز للمراجعة حتى وإن تبيّن في النهاية أنه حقيقي. ينبغي للقاعدة أن تحجز القيمة في الحجر الصحي لا أن تُسقطها بصمت، لأن قيمة شاذة مُهمَلة لا تستطيع فحصها هي بدورها نوع من فقدان البيانات.

المطابقة هي مقارنة المصادر التي يُفترض أن تتفق وتسجيل مواضع اختلافها. فحين تختلف تغذيتان على سعر إغلاق، تريد قرارًا مُوثّقًا بشأن أيّهما يفوز ولماذا، لا ترتيب دمج اعتباطيًا. وينطبق الأمر نفسه عبر الزمن: مطابقة تاريخ اليوم المُصحَّح مع الطابع الزمني (vintage) الذي خزّنته تعني أن التصحيح يصبح حدثًا تراه، مصحوبًا بأثر تدقيقي (audit trail)، لا رقمًا انزاح من تحتك.

التنبيه هو ما يحوّل هذا كله من تنظيف لمرة واحدة إلى شيء يصمد. فالفجوة التي تظهر في منتصف الأسبوع، والتغذية التي تتجمّد لساعة، وفجوة مطابقة تتجاوز حدًّا معيّنًا، كلٌّ منها ينبغي أن يستدعي شخصًا أو يفتح تذكرة. التحقق الذي لا تراقبه يضمحلّ. والمقصد أن تعرف بمشكلة الجودة من فحوصك أنت، قبل أن يتعلّمها نموذج ويعرضها على من يتصرّف بناءً عليها.

لا شيء من هذا برّاق، ومعظمه لا يصل قَطّ إلى شريحة عرض. لكنه أيضًا الفرق بين نموذج تستطيع أن تضعه أمام لجنة مخاطر وآخر تأمل بهدوء ألّا يشكّك فيه أحد. إن كان الذكاء الاصطناعي يُنتج إجابات واثقة، فأول ما يستحق الثقة هو البيانات التي تحته، والسبيل الوحيد للوثوق بها أن تكون قد فحصتها.