فهرس بيانات يمكّن الذكاء الاصطناعي المالي من العثور على الجدول الصحيح

فهرس البيانات المالية هو طبقة الفهرسة والبيانات الوصفية التي تخبر الإنسان أو النموذج بأيّ جدول ينبغي استخدامه، وماذا يعني كلّ عمود، ومدى حداثة البيانات، ومن أين جاءت، وهل يمكن الوثوق بها في اتخاذ قرار بعينه.

بالنسبة للذكاء الاصطناعي، هذا الفهرس هو الفارق بين نموذج يستعلم لقطة دفتر الأستاذ العام (general ledger) المعتمدة، ونموذج يربط بهدوء جدولًا مؤقتًا (staging table) بناه أحدهم لمطابقة (reconciliation) عابرة عام 2023.

معظم منصّات البيانات المالية تفشل في اختبار الاكتشاف بطريقة محدّدة. لا يوجد نقص في البيانات؛ بل نقص في معرفة أيّ نسخة منها هي الصحيحة. رقم إيراد واحد يعيش في النظام المصدر، وفي منطقة هبوط خام (raw landing zone)، وفي نموذجَي معالجة مؤقتة، وفي مستودع مُعتمد (certified mart)، وفي ثلاثة مخطّطات شخصية (schemas) لمحلّلين مختلفين. المصادر الستّة كلّها ستُجيب عن الاستعلام. خمسة منها ستُجيب إجابة خاطئة عن السؤال الذي تطرحه فعليًا. أمّا نموذج لديه صلاحية استعلام SQL ولا فهرس لديه، فيتعامل مع الستّة جميعًا على أنّها متساوية الصلاحية، ويصبح ما يختاره منها رمية عملة مرجّحة بحظّ تسمية الجداول.

ما الذي يجب أن يسجّله الفهرس للعمل المالي

الفهرس العام يسجّل أسماء الجداول وأنواع الأعمدة. هذا هو الحدّ الأدنى، وهو لا يفعل شيئًا لمنع رقم خاطئ. في العمل المالي، البيانات الوصفية التي تهمّ هي تلك التي تُشفِّر الصحّة والمَصدر (provenance).

• حالة الاعتماد (certification). أيّ الجداول هي مصدر الحقيقة لنطاق معيّن، ومن يملكها، وما الذي ينكسر إن كانت خاطئة. الجدول غير المعتمد ينبغي أن يكون مرئيًا في الفهرس لكن مع وسمه بعلامة، بحيث تستطيع طبقة الاسترجاع خفض أولويّته أو استبعاده.
• دلالات النقطة الزمنية (point-in-time). هل الجدول يمثّل القيمة كما كانت في تاريخ محدّد (as-of)، أم آخر قيمة معروفة بعد إعادة العرض (latest-known). الخلط بينهما هو الطريق الذي يتسرّب عبره تسريب الاستشراف (lookahead leakage) إلى مجموعة تدريب: تربط سمة (feature) محسوبة بمعلومات لم تكن موجودة في تاريخ القرار، فيبدو الاختبار الرجعي (backtest) ممتازًا، بينما يتراجع أداء النموذج على أرض الواقع لأنه لم يمتلك تلك المعلومة أصلًا.
• النَّسَب (lineage). المصادر الأولى والتحويلات وراء كلّ عمود، مستخرَجة من تحليل سجلّات استعلام خطّ المعالجة نفسه بدلًا من كتابتها يدويًا. حين تسأل جهة تنظيمية أو مدقّق من أين جاء رقم، يكون النَّسَب هو الجواب، وهو أيضًا ما يتيح لك تقدير نطاق الأثر (blast radius) حين يتغيّر شكل تغذية مصدرية.
• الحداثة وإيقاع التحميل. متى حُمِّل الجدول آخر مرّة، وكم مرّة يُفترض أن يُحمَّل. نموذج ينتج رؤية سيولة استنادًا إلى تغذية سوقية توقّفت عن التحديث قبل أربع ساعات هو أسوأ من نموذج يرفض الإجابة.
• الحُبَيبيّة (grain) ونطاق الكيان. ماذا يعني الصفّ الواحد، وإلى أيّ كيان قانوني أو دفتر أو عملة يُنسب. عدم التطابق الصامت في الحُبَيبيّة سبب رئيسي لأرقام تنحرف بمعامل لا يستطيع أحد تفسيره.

البيانات الوصفية النشطة تتفوّق على ويكي مكتوب يدويًا

الفهارس التي تموت هي تلك التي يملؤها فريق البيانات يدويًا في نوبة حماس، ثم لا يمسّها بعدها أبدًا. بحلول إعادة العرض التالية تكون الأوصاف تصف أعمدة لم تعد موجودة. عندها يصبح الفهرس عبئًا لأنه خاطئ بثقة، وهذا أسوأ من كونه فارغًا.

البيانات الوصفية النشطة تعني أنّ المنصّة هي التي تغذّي الفهرس، لا حُسن النيّة. النَّسَب يأتي من تحليل سجلّ استعلامات المستودع. أمّا الاستخدام والشعبية فيأتيان من سجلّات الوصول، وهي إشارة ثقة قويّة على نحو مفاجئ: الجدول الذي يستعلمه أربعون محلّلًا في نهاية الربع ويطابقونه مع حزمة مجلس الإدارة أرجح صحّةً من جدول لم يُستعلم سوى مرّتين طوال عمره. الحداثة تأتي من طوابع زمن التحميل. ويجري توصيف الأعمدة (column-level profiling) وفق جدول زمني منتظم، فيكشف الانحراف في معدّلات القيم الفارغة (null rates) والتعدّدية (cardinality) والتوزيعات، بحيث يظهر العمود الذي تغيّر معناه بصمت بعد هجرة مصدرية قبل أن يستهلكه أيّ نموذج.

نوصِّل هذا بحيث تُولَّد البيانات الوصفية كناتج جانبي لحركة البيانات نفسها. خطّ المعالجة الذي يحمّل جدولًا يكتب أيضًا نَسَبه وحداثته وتوصيفه. ونحتفظ بالتنسيق البشري لأحكام التقدير التي لا تستطيع الآلة استنتاجها: الاعتماد، والملكية، والتعريفات التجارية، وتحفّظات النقطة الزمنية المحدّدة التي لا تعيش إلّا في رأس أحدهم.

جعل الفهرس قابلًا للقراءة من النموذج، لا من المحلّل وحده

الفهرس المبنيّ فقط لإنسان يتصفّح واجهة ويب هو فهرس نصف مبنيّ. فطبقة الاسترجاع الجالسة أمام النموذج المالي تحتاج المعلومات ذاتها في صيغة مُهيكلة، تُستعلم قبل السماح للنموذج بلمس أيّ جدول.

عمليًا، يبدو مسار الاكتشاف بالنسبة للنموذج على النحو التالي. يَرِد طلب، مثلًا عن صافي التعرّض (net exposure) تجاه طرف مقابل. تبحث طبقة الاسترجاع في الفهرس عن جداول مرشّحة، وتصفّيها إلى المصادر المعتمدة لذلك النطاق، وتتحقّق من الحداثة مقابل هامش تسامح الطلب، وتقرأ دلالات النقطة الزمنية والحُبَيبيّة، ثم تسلّم النموذج مجموعة صغيرة من الجداول المؤهّلة مرفقةً بمعاني أعمدتها. عندها يتوقّف النموذج عن تخمين البيانات من أسماء الجداول، ويعمل بدلًا من ذلك انطلاقًا من قائمة قصيرة اجتازت مسبقًا الفحوص التي كان محلّل حريص سيُجريها.

هنا أيضًا يثبت الفهرس جدارته في مواجهة عمليات الربط المُهلوَسة (hallucinated joins). فحين يعرف النموذج من البيانات الوصفية أنّ جدولين يتشاركان مفتاح كيان معتمدًا، يربط عليه. وحين يعرف أنّهما لا يتشاركانه، تستطيع طبقة الاسترجاع رفض الربط بدلًا من ترك النموذج يخترع ربطًا يبدو معقولًا استنادًا إلى تطابق أسماء الأعمدة. ويسجّل مسار التدقيق (audit trail) لكلّ إجابة أيّ مدخلات فهرس استُشيرت، وأيّ جداول استُخدمت، وحالة اعتمادها وحداثتها وقت الاستعلام. حين يسأل أحدهم بعد ستّة أشهر لماذا قال النموذج ما قاله، يكون ذلك السجلّ هو إعادة البناء.

جودة الاكتشاف تضع سقفًا لجودة النموذج، ومعظم الفرق تستثمر فيها أقلّ ممّا ينبغي. النموذج الذي يستدلّ من الجدول الخاطئ ينتج رقمًا خاطئًا بثقة مصحوبًا بشرح نظيف، وهذا أغلى أنواع الأخطاء التقاطًا لأنّ لا شيء في المُخرَج يبدو معتلًّا. الفهرس هو ما يمنع النموذج من رؤية ذلك الجدول أصلًا. وبناؤه على نحو جيّد أقلّ بريقًا وأكثر حسمًا من معظم النمذجة التي تحظى بالاهتمام.