تخطّ إلى المحتوى
كل الرؤى طبقة البيانات المالية

بناء خطوط معالجة للبيانات البديلة قادرة على الصمود

الإشارات المستخلصة من الويب، ولوحات بيانات البطاقات، وصور الأقمار الصناعية، وإعلانات التوظيف، والإفصاحات المُجمَّعة آليًا لا تؤتي ثمارها إلا حين يُحسن خط المعالجة التقاط البيانات في لحظتها الزمنية وربطها بالكيانات الصحيحة.

متخصصون في القطاع المالي يعملون على مبادرة للذكاء الاصطناعي

تبدو البيانات البديلة وكأنها ميزة تنافسية، وكثيرًا ما تكون كذلك بالفعل. فلوحات بيانات الإنفاق بالبطاقات، وصور الأقمار الصناعية، والإشارات المستخلصة من الويب، وإعلانات التوظيف، والإفصاحات المُجمَّعة آليًا من المصادر العامة: كلٌّ منها يَعِد بقراءة لوضع الشركة قبل أن تظهر هذه القراءة في الأرقام المُعلنة. لكن المشكلة أن معظم العمل الذي يحدد ما إذا كانت الإشارة ستصمد أمام اختبار العودة الزمني (backtest) يجري داخل خط المعالجة لا داخل النموذج. فاللوحة التي تبدو ذات قدرة تنبؤية في دفتر تحليلي قد تنهار في اللحظة التي تسأل فيها: متى كان كل صف من بياناتها معلومًا فعلًا؟ ولأي جهة مُصدِرة ينتمي؟

ولذلك فهذا المقال عن البنية الخلفية. فالجزء غير اللامع هو المكان الذي تتحول فيه البيانات البديلة إما إلى إشارة قابلة للاستخدام، وإما، بهدوء، إلى خلل في النظر المستقبلي (lookahead bug) تدفع به إلى الإنتاج.

الاستيعاب والتوحيد ومشكلة التأريخ

يصل كل مصدر بصيغته الخاصة. فبيانات البطاقات تأتي على هيئة لوحات مُجمَّعة لها تصنيفها الخاص للتجار. ويسلّم باعة صور الأقمار الصناعية الصور أو أعدادًا محسوبة مسبقًا وفق وتيرتهم الخاصة. أما إعلانات التوظيف والإفصاحات المُجمَّعة آليًا فهي نصوص، بكل ما يستلزمه ذلك من تحليل لغوي وإزالة للتكرار. والاستيعاب يعني تدوين خصوصيات كل تدفق بيانات قبل توحيده في مخطط مشترك: من وحدات، وعملات، ونطاقات جغرافية، ومعنى “الأسبوع” لدى هذا البائع مقابل ذاك.

أما الجزء الذي يحسم ما إذا كانت الإشارة حقيقية فهو الالتقاط في اللحظة الزمنية. فلكل صف تاريخان مهمان على الأقل: تاريخ الحدث الذي تصفه البيانات، والتاريخ الذي كان بإمكانك أن تعلمه فيه أول مرة. وكثيرًا ما يعيد الباعة صياغة لوحاتهم، ويملؤون التصحيحات بأثر رجعي، ويراجعون الأعداد بعد أسابيع. فإن خزّنت القيمة الأحدث فحسب، قرأ اختبار العودة الزمني أرقامًا لم تكن موجودة في اليوم الذي يدّعي أنه تداول فيه، فتبدو الاستراتيجية أفضل مما كانت عليه قط. والحل هو الاحتفاظ بسجلٍّ زمنيٍّ للنسخ (vintage history)، بحيث تُؤرَّخ الإشارة باللحظة التي صارت فيها معلومة، وتُضاف التصحيحات بوصفها مشاهدات جديدة لا تجاوزات فوق القديمة. وهذا هو الانضباط الزمني نفسه الذي تحتاجه البيانات الأساسية؛ غير أن البيانات البديلة تخفي التسرّب على نحو أمكر، لأن لا أحد يملك سلسلة مرجعية ليقابلها بها.

الترخيص والامتثال وما يُسمح لك باستخدامه

وقبل أن يهمّ أيٌّ من ذلك، يجب أن تسمح شروط ترخيص البيانات بالاستخدام الذي تنويه. وهناك عدة أسئلة عادةً ما تحسم مصير التعامل:

  • هل يسمح العقد ببيانات إشارة مشتقة، أم بالتحليل الداخلي فقط؟ وهل يجوز مشاركة المخرجات مع العملاء أو استخدامها في إدارة رأس مال خارجي؟
  • بالنسبة إلى لوحات البطاقات وما يماثلها، هل المصدر قائم على الموافقة ومُجرَّد من الهوية عند المنشأ؟ وهل يمنع التجميع فعلًا إعادة تحديد الهوية؟
  • بالنسبة إلى تجميع الإفصاحات العامة أو صفحات الويب آليًا، هل تسمح شروط المصدر وقواعد الولاية القضائية ذات الصلة بالجمع بالوتيرة والحجم اللذين تخطط لهما؟
  • المعلومات الجوهرية غير العامة: اللوحة التفصيلية بما يكفي لقراءة نتائج جهة مُصدِرة واحدة قبل الإعلان عنها هي مشكلة امتثال، لا ميزة تنافسية.

هذه قيود يُصمَّم النظام حولها، لا أوراق تُلصق لاحقًا. فالإشارة التي لا تستطيع الدفاع عن مصدرها هي إشارة لا يمكنك إدخالها في عملية خاضعة للتنظيم، وسجل التدقيق الذي يبيّن من أين جاء كل صف هو ما يتيح لك الإجابة عن السؤال حين يُطرح.

إزالة التكرار وربط الكيانات وإثبات أن الإشارة حقيقية

تكرر التدفقات الخام نفسها. فالإفصاح ذاته يُجمَّع مرتين، والإعلان نفسه يعاود الظهور عبر عدة منصات، والتاجر الواحد يظهر بثلاث طرق في كتابة اسمه. ويجب أن تجري إزالة التكرار قبل التجميع، وإلا تضخمت الأعداد بطرق ترتبط بجهد الجمع لا بأي شيء يخص النشاط التجاري نفسه.

ثم يأتي حل مرجعية الكيانات: ربط كل سجل بالجهة المُصدِرة التي يعنيها. فنادرًا ما يحمل تجار البطاقات، وجهات التوظيف المُعلِنة، وكيانات الإفصاح رموز تداول نظيفة أو مُعرِّفات LEI، وقد ترتبط العلامة التجارية نفسها بشركة تابعة، أو بشركة أمّ، أو بنظير خاص لا يقبل الاستثمار أصلًا. فإن أخطأت في هذا، نسبت إشارة منافسٍ إلى اسمك. ونحن نتعامل مع كل مطابقة بوصفها قرارًا قابلًا للفحص له درجة ثقة، لا حادثة مطابقة نصية عابرة، ونُبقي البقايا غير المطابَقة ظاهرة، لأن هناك يكمن التحيّز.

والفحص الأخير هو ما إذا كانت الإشارة تعكس العالم أم تعكس الطريقة التي جمعت بها. فالقفزة في الإعلانات المُجمَّعة آليًا قد تعني موجة توظيف، وقد تعني أن بائعًا غيّر مواقعه أو أنك أصلحت مُحلِّلًا لغويًا. والدفاع مملّ لكنه ضروري: احتجِز نافذة تحقّق، وراقب الانحراف عند تغيّر الجمع، وقابِل السلسلة البديلة بحقيقة أرضية حيثما وُجدت، ولو كانت رقمًا مُعلنًا متأخرًا. فإن لم تتحرك الإشارة إلا حين يتغير خط معالجتك، فهي مجرد أثر مصطنع، واكتشاف ذلك في مرحلة التقييم أرخص بكثير من اكتشافه بعد أن يكون أحدهم قد تداول بناءً عليه.

قراءات ذات صلة

#البيانات

لماذا يجب أن يبدأ الذكاء الاصطناعي في التمويل من طبقة البيانات أولًا

النموذج هو الجزء السهل. أما السبب الذي يجعل مشاريع الذكاء الاصطناعي في التمويل تتعثر فيكاد يكون دائمًا في البيانات الكامنة تحتها. وإليك كيف نتعامل مع هذا الأمر.

#البيانات

استرجاع الرسوم البيانية المعزّز (GraphRAG) للكيانات المالية وعلاقاتها

حين تكون العلاقات أهم من التشابه، يصبح مخزن المتجهات الأداة الخاطئة. إليك كيف نستخدم الاسترجاع عبر الرسم البياني على المُصدِرين والأطراف المقابلة وهياكل الملكية.

#البيانات

جودة بيانات السوق مشكلة نموذج لا مشكلة بنية تحتية

الفجوات والأسعار المتجمدة وتصحيحات المزوّدين لا تُعطّل نظام ذكاء اصطناعي، بل تجعله مخطئًا بثقة. إليك كيف نلتقط مشكلات الجودة قبل أن يتعلّمها النموذج.

#البيانات

حين لا تكون الشركة نفسها هي ذاتها: مطابقة الكيانات عبر تدفقات البيانات المالية

تختلف تدفقات بيانات السوق والإفصاحات والبيانات البديلة في تحديد ما يُعدّ مُصدِراً واحداً. إليك كيف نبني طبقة مطابقة تصمد عند إقفال الربع.

تعمل على شيء مشابه؟

أخبِرنا عن بياناتك وسير العمل المحيط بها، وسنعطيك رأياً صريحاً.

احجز مكالمة تعريفية مدتها 30 دقيقة