إدارة البيانات المرجعية لأنظمة الذكاء الاصطناعي في التمويل

إدارة البيانات المرجعية لأنظمة الذكاء الاصطناعي في التمويل تعني الحفاظ على الحقائق بطيئة التغيّر التي يتعامل معها النموذج بوصفها الحقيقة المطلقة، مُصدَرةً كإصدارات (versioned) وصحيحةً زمنيًا (point-in-time-correct): رموز العملات، والتقاويم، ومعرّفات الأدوات المالية، والتصنيفات، وتراتبيات الأطراف المقابلة. هذه الحقائق نادرًا ما تتغيّر، وهي في الغالب ليست ما تحاول نمذجته، وهذا بالضبط سبب إفسادها للأمور في صمت. فالتقويم الخاطئ لا يُطلق أي خطأ. بل يجعل كل رقم لاحق خاطئًا خطأً غير مرئي.

القائمة الكاملة أطول مما تتوقعه معظم الفرق: رموز العملات، وتقاويم التداول والتسوية، ومعرّفات الأدوات المالية، وتصنيفات القطاعات والدول، وتراتبيات الأطراف المقابلة، وتصنيفات المنتجات والحسابات. لا أحد يُطلق خط معالجة يقرأ الدولار الأمريكي (USD) على أنه يورو (EUR). ما يحدث فعلًا أدقّ من ذلك. تُعيد بورصة تسمية رمز تداول (ticker)، وتقسّم دولةٌ نطاق أرقام (ISIN)، ويُضاف عطلةٌ إلى تقويم تسويةٍ في منتصف السنة، فتلتقط ثلاثةٌ من مصادر بياناتك هذا التغيير في ثلاثة تواريخ مختلفة. ويستمر نموذجك في العمل. لكن مدخلاته انزاحت من تحته، وأول علامةٍ على ذلك انحرافٌ بطيء في التنبؤات يلومه أحدهم في نهاية المطاف على النموذج بدلًا من البيانات التي تغذّيه.

الصحة الزمنية (point-in-time correctness) هي كل اللعبة

الخطأ الأكثر كلفةً في التعلّم الآلي في التمويل هو التدريب على البيانات المرجعية كما تبدو اليوم بدلًا من كما بدت في التاريخ الماضي الذي تتظاهر بأنك فيه. فالتصنيف القطاعي الحالي لسهمٍ ما، ومعرّفه الحالي، وشركته الأم الحالية: لا شيء من ذلك كان بالضرورة صحيحًا قبل عامين. حين تربط جدول اليوم المرجعي بخاصيةٍ عمرها عامان، تكون قد سرّبت المستقبل إلى الماضي. يبدو الاختبار الرجعي (backtest) رائعًا. لكن الإنتاج لا يطابقه، وها أنت تنقّح نموذجًا بينما العلة في عملية ربط (join).

نحن نتعامل مع البيانات المرجعية على أنها ثنائية الزمن (bitemporal) افتراضيًا. يحمل كل سجلّ ساعتين:

• وقت السريان (effective time): متى أصبحت الحقيقة صحيحةً في العالم. فإعادة تسمية رمز التداول تسري في تاريخ التغيير لدى البورصة.
• وقت المعرفة (knowledge time): متى علمنا بالحقيقة. فقد يسلّم المزوّد إعادة التسمية تلك متأخرًا ثلاثة أيام، أو يؤرّخ تصحيحًا بأثرٍ رجعي.

بالساعتين معًا يمكنك الإجابة عن السؤالين المهمّين. ما الذي كان صحيحًا في التاريخ X، وما الذي كنّا نعتقد أنه صحيح في التاريخ X؟ يستخدم التدريب والاختبارات الرجعية السؤال الثاني، فيعيدان بناء الحالة المرجعية بالضبط كما كان النموذج سيراها، بما في ذلك التصحيحات المتأخرة كلها. أما التشغيل الفعلي (serving) فيستخدم أفضل معرفةٍ حالية. والفصل بين الاثنين هو ما يمنع النظر إلى الأمام (lookahead) من التسلّل عبر الطبقة المرجعية، وهي المكان الوحيد الذي لا تفكّر الفرق تقريبًا في تفحّصه بحثًا عنه.

عمليًا يعني هذا عدم إجراء تحديثاتٍ متلفة (destructive). الجداول المرجعية سجلّات إضافية فقط (append-only) بنطاقات بداية صلاحية (valid-from) ونهايتها (valid-to). التصحيح يُغلق الصف القديم ويفتح صفًا جديدًا؛ ولا يستبدل أبدًا. التخزين رخيص، وأثر التدقيق (audit trail) يسدّد ثمنه أول مرة يسأل فيها أحدهم عن سبب تغيّر رقم.

إدارة عمليات الربط، لا الرموز وحدها

الرموز نفسها هي الجزء السهل. المعيار ISO 4217 للعملات، وISO 3166 للدول، وISO 10383 (MIC) لأماكن التداول، وLEI للكيانات القانونية، وISIN وFIGI للأدوات المالية. الجزء الصعب هو عمليات الربط (mappings) بينها، وحقيقة أن الشيء الواقعي نفسه يرتدي اسمًا مختلفًا في كل مصدر بيانات.

قد تصل أداةٌ واحدة على شكل ISIN من جهة الحفظ (custodian)، ومعرّفٍ خاص بالمزوّد من مصدر بيانات سوقية، ومعرّف أمانٍ داخلي من سجلّ القيد (book of record)، ووصفٍ نصّي حرّ من جدول بياناتٍ ما زال أحد المكاتب يحدّثه يدويًا. جعل هذه كلها تتوافق هو تحليل الكيانات (entity resolution)، وهو المكان الذي تُنفق فيه معظم مشاريع البيانات المرجعية وقتها فعلًا. وإليك بعض القواعد التي نلتزم بها:

• مفتاح ذهبي (golden key) واحد لكل مفهوم، مع ربط كل معرّفٍ مصدري به، والربط نفسه مُصدَر كإصدارات. تشير الأنظمة اللاحقة إلى المفتاح الذهبي، لا إلى معرّف المزوّد مباشرةً أبدًا.
• الإحالات المتقاطعة (cross-references) هي علاقات متعدّد-إلى-متعدّد عبر الزمن. فقد يشير الـ ISIN إلى أدواتٍ مختلفة عبر فجوة إعادة استخدام؛ والـ FIGI أكثر ثباتًا لكنه ليس شاملًا. انمذج العلاقة كحوافّ (edges) محدودة زمنيًا، لا كجدول بحثٍ ساكن.
• السجلّات غير المطابَقة تذهب إلى طابور مراجعة (review queue)، لا إلى قيمةٍ افتراضية صامتة. فالعملة الافتراضية أو التقويم الاحتياطي هو الطريق الذي تدخل به الأرقام الخاطئة إلى النظام دون أن يقرّر أحد السماح بها.

تستحق التقاويم ذكرًا خاصًا لأنها دقيقةٌ على نحوٍ خادع. فتقاويم التداول، وتقاويم التسوية، وتقاويم العطلات، واصطلاحات أيام العمل (business-day conventions) تختلف بين سوقٍ وآخر وتتغيّر مع الزمن. أخطئ في عطلةٍ واحدة فقط، فتُزيح كل خاصيةٍ مُبطّأة (lagged feature)، وكل نافذةٍ متدحرجة (rolling window)، وكل تاريخ تسويةٍ تحسبه لتلك السوق، سواء كانت تسوّي في T+1 أو T+2. نحن نستقي التقاويم لكل مكان تداول، ونُصدِرها كإصدارات، ونختبر حساب التواريخ مقابل تواريخ تسويةٍ معروفة بدلًا من الوثوق بالقيم الافتراضية لأي مكتبة برمجية.

حوكمةٌ تصمد أمام نهاية الربع

تسوء البيانات المرجعية عند الحدود. يغيّر مزوّدٌ مخطط بياناته (schema)، وتُضاف سوقٌ جديدة، ويعيد حدثٌ مؤسسي (corporate action) تشكيل معرّف، ويحدث ذلك دائمًا كما يبدو خلال نهاية الربع حين لا يجد أحدٌ وقتًا ليلاحظ. الضوابط التي تلتقط هذا غير برّاقة، وهي التي نصرّ عليها.

• المطابقة (reconciliation) بين المصادر وفق جدولٍ زمني. حين تختلف عملة جهة الحفظ لمركزٍ ما عن عملة مصدر البيانات السوقية، فتلك ملاحظة، تُسجّل بميزانيةٍ للإيجابيات الكاذبة (false-positive budget) حتى لا تغرق الأعطال الحقيقية في الضجيج.
• تتبّع النسب (lineage) من كل مدخل نموذجٍ رجوعًا إلى السجلّ المصدري والإصدار المستخدَم بالضبط. حين يبدو تنبؤٌ ما خاطئًا، ينبغي أن يستغرق سؤال «من أين جاء هذا الرمز ومتى تغيّر؟» دقائق، لا يومًا.
• التنبيه على التغييرات في الطبقة المرجعية نفسها. فارتفاعٌ مفاجئ في المعرّفات الجديدة، أو تعديلٌ في تقويم، أو ربطٌ صار يغطّي فجأةً سجلّاتٍ أقل من الأمس: هذه إنذاراتٌ مبكرة على أن شيئًا في المجرى الأعلى قد تحرّك.
• الملكية (ownership). أحدهم يوقّع على مجموعات الرموز الجديدة وتغييرات الربط. البيانات المرجعية بلا مالكٍ تتعفّن، والعفن غير مرئي حتى يلتهمه نموذج.

لا شيء من هذا عملٌ مثير. إنه سباكة. لكن النموذج ليس صحيحًا زمنيًا إلا بقدر صحة البيانات المرجعية الكامنة تحته، وتلك البيانات ستنحرف في اللحظة التي تتوقّف فيها عن مراقبتها. والفرق التي تحقّق سلوكًا متسقًا وقابلًا لإعادة الإنتاج في نماذجها ليست عادةً تلك التي تملك أذكى بنية معمارية. بل هي التي عاملت العملات والتقاويم والأدوات والرموز كأصلٍ مُصدَر ومُطابَق وله مالكٌ واضح، بدلًا من جدول بحثٍ أعدّه أحدهم مرةً واحدة ثم نسيه.