هندسة البيانات المالية

ما هي

نظام الاسترجاع لا يكون أفضل مما يسترجعه، ونموذج التنبؤ لا يكون أفضل من التاريخ الذي يتدرب عليه. وفي القطاع المالي، يكون ذلك التاريخ عادة مبعثراً بين نظام مصرفي أساسي، وحفنة من تغذيات بيانات الموردين، وملفات PDF لم يحللها أحد، وجدول بيانات يديره شخص يدوياً لأن النظام «الحقيقي» لا يلتقط حقلاً يحتاجه العمل. وقبل أن يمكن الوثوق بأي نموذج أو وكيل، يجب إصلاح تلك الطبقة أولاً.

نبني البنية التحتية للبيانات وراء أنظمة الذكاء الاصطناعي المالية: خطوط أنابيب استيعاب لتغذيات البيانات المعاملاتية والمستندات وكشوف الحسابات والبيانات المرجعية؛ وطبقة مستودع بيانات أو Lakehouse تخزّن البيانات بشكل صحيح زمنياً عند كل نقطة، بحيث لا يستخدم اختبار رجعي (backtest) يُجرى اليوم عن طريق الخطأ أرقاماً مُعاد بيانها الشهر القادم؛ ودقة تحليل الكيانات (entity resolution) التي تتعرف على الطرف المقابل أو المُصدر نفسه عبر تغذيات تكتبه بأربع طرق مختلفة. يُتتبع أصل البيانات (lineage) من البداية إلى النهاية، بحيث يمكنكم، عندما يبدو رقم ما خاطئاً، تتبعه إلى السجل المصدر بدلاً من التخمين.

هذا العمل غير براق، وهو أيضاً حيث تموت بهدوء معظم مشاريع الذكاء الاصطناعي في القطاع المالي: نموذج بدا جيداً على مجموعة بيانات تجريبية يبدأ في إنتاج إجابات خاطئة بثقة بمجرد أن يصطدم بالتغذية الحقيقية، لأن أحداً لم يتحقق مما إذا كانت بيانات التدريب قد سرّبت معلومات مستقبلية إلى الماضي. نتعامل مع طبقة البيانات كأول ناتج قابل للتسليم، لا كافتراض، ونثبت صحتها بفحوصات تحقق قبل بناء أي شيء لاحق فوقها.