تخطّ إلى المحتوى
كل الرؤى طبقة البيانات المالية

تهيئة البيانات المالية بحيث يُرجِع الاسترجاع الرقم الصحيح

يفشل الاسترجاع فوق البيانات المالية حين يتجاهل التخزين الطريقة التي تنقسم بها الأسئلة. إليك كيف نبني مستودعًا للبيانات ومخزنًا متجهيًا تظل الإجابات معه دقيقة وقابلة للتتبع.

3 دقائق قراءة #البيانات#الاسترجاع#البنية التحتية
متخصصون في القطاع المالي يعملون على مبادرة للذكاء الاصطناعي

لأي نظام استرجاع يعمل فوق بيانات مالية مهمتان تتجاذبان في اتجاهين متعاكسين. الأولى أن يُرجع رقمًا دقيقًا: إيرادات الربع الثالث، أو المركز عند الإغلاق في تاريخ محدد، أو نسبة تغطية محسوبة حتى منزلتين عشريتين. والثانية أن يعثر على الفقرة داخل إفصاح من مئتي صفحة تشرح بندًا استثنائيًا أو تغييرًا في الاعتراف بالإيراد. والمخزن الواحد لا يُحسن أيًّا من المهمتين. اطلب من فهرس متجهي رقمًا دقيقًا فسيناولك نتيجة تبدو معقولة لكنها تخطئ في التقريب أو في الفترة. واطلب من مستودع بيانات أن يستخرج الحاشية الكامنة وراء إعادة عرض رقم، فلن يجد ما ينظر فيه.

لذا نبني المخزنين معًا، ونحسم مسبقًا أي نوع من الأسئلة يملكه كل مخزن.

مستودع للأرقام، ومخزن متجهي للنصوص

يحتفظ المستودع بالحقيقة الرقمية المنظَّمة: البيانات المالية المُبلَّغ عنها، والسلاسل الزمنية، والمراكز، وكل ما تتوقع الاستعلام عنه بدقة. حين يكون السؤال «ما هو الرقم» تأتي الإجابة من استعلام SQL على أعمدة محددة الأنواع، لا من نموذج لغوي يعيد بناء الرقم من نص. وهذا يُبقي العمليات الحسابية بعيدة عن يد النموذج.

أما المخزن المتجهي فيحتفظ بالجانب الوثائقي: السرد في الإفصاحات، والحواشي، وتعليقات الإدارة، والنصوص التي تشرح سبب تحرّك الرقم. وحين يكون السؤال دلاليًّا، مثل «ماذا قالوا عن قيود الإمداد»، فهنا تُقدَّم الإجابة.

والعمل الأهم يقع بين المخزنين. فمعظم الأسئلة الواقعية مختلطة؛ يطلب المستخدم رقمًا والمنطق الكامن وراءه في آنٍ واحد. والنمط الصحيح هو توجيه الجزء الرقمي إلى المستودع، والجزء التفسيري إلى المخزن المتجهي، ثم خياطة الإجابتين معًا بحيث يكون الرقم موثوقًا والنص مُسنَدًا إلى مصدره. وإتقان هذا التوجيه أهم من اختيار النموذج نفسه.

تقطيع يُبقي الإفصاح مفهومًا

التقطيع الساذج يدمّر الوثائق المالية. قسِّم نموذج 10-K كل خمسمئة رمز، فتشطر الجداول نصفين، وتفصل الحواشي عن البنود التي تُقيّدها، وتجرّد الفقرة من الفترة المالية التي تصفها. عندئذٍ يُرجع الاسترجاع شظية فصيحة محليًّا وخاطئة على المستوى الكلي.

تقطيعنا لبيانات الإفصاحات يتبع بنية الوثيقة لا عدد الرموز:

  • نُبقي كل جدول كاملًا، بصفوف عناوينه ووحداته مرفقة، حتى يظل الجدول المُسترجَع قابلًا للقراءة بمفرده.
  • نربط الحواشي بالبند أو القائمة التي تشرحها، بدلًا من تركها تطفو نصًّا قائمًا بذاته.
  • نحمل فترة الإبلاغ إلى داخل كل مقطع، حتى تتحدد الفقرة التي تذكر «الربع» بنهاية ربع بعينها، ولا تختلط بسنة أخرى.

ينبغي أن يكون المقطع وحدة معنى قائمة بذاتها. فإن لم يستطع قارئ بشري أن يقرأه معزولًا ويعرف الشركة والفترة والقائمة التي ينتمي إليها، فلن يستطيع المُسترجِع ذلك أيضًا.

بيانات وصفية عند نقطة زمنية على كل مقطع

يحمل كل مقطع بيانات وصفية، وحقلان منها غير قابلين للتفاوض. الأول هو البيانات عند نقطة زمنية: تاريخ السريان وتاريخ بلوغ المعرفة، حتى يُجيب النظام كما بدا العالم في التاريخ المطلوب، ولا يُسرّب إعادة عرضٍ لاحقة إلى إجابة عن وقت سابق. فالإفصاحات تُعدَّل؛ والرقم الذي أُبلغ عنه والرقم الذي صُحِّح لاحقًا حقيقتان مختلفتان، وعلى المخزن أن يحفظهما معًا مع تاريخ بلوغ المعرفة بكلٍّ منهما.

والثاني هو المصدر: الوثيقة والقسم والصفحة وعملية الاستخراج التي أنتجت المقطع. وهذا يمنح كل إجابة أثرًا تدقيقيًّا يعود إلى وثيقة أوّلية. ففي المالية، الإجابة التي لا يمكنك تتبعها إجابة لا يمكنك استخدامها، والبيانات الوصفية هي ما يجعل تتبّع المنشأ رخيصًا بدلًا من أن يكون تحقيقًا جنائيًّا بعد فوات الأوان.

إبقاء المخزنين متطابقين

يحل هذا الفصل مشكلة الاسترجاع ويخلق مشكلة صيانة. فالمستودع والمخزن المتجهي صارا يصفان حقائق متداخلة، ويمكن أن يتباعدا. فيهبط رقم مُعاد عرضه في المستودع بينما لا يزال المخزن المتجهي يحتفظ بنص الإفصاح الأصلي. وقد تعامل تسوية الكيانات رمزَين للتداول على أنهما شركة واحدة في مخزن دون الآخر. وإن تُرك الأمر، يبدأ النظام بمناقضة نفسه.

لذا فالتسوية مهمة قائمة دائمًا لا حدثًا عابرًا. نُجري فحوصًا تقارن الأرقام التي يسترجعها المستخدم من الوثائق بالأرقام نفسها في المستودع، وتُعلّم على أي تباين، وتربط الطرفين بالعرض ذاته عند النقطة الزمنية نفسها. وحين يُعدَّل إفصاح، يُحدَّث المخزنان معًا أو يُرفع التعارض للمعالجة.

البيانات المالية الجاهزة للاسترجاع هي في معظمها هذا: المخزن المناسب لكل نوع من الأسئلة، ومقاطع تصمد حين تُقرأ منفردة، وتواريخ ومصادر على كل شيء، وعملية تسوية تُبقي النصفين صادقَين. أما النموذج الذي يعلوها فهو الجزء الذي يمكنك استبداله. وهذا هو الجزء الذي عليك إتقانه أولًا.

قراءات ذات صلة

#البيانات

حين لا تكون الشركة نفسها هي ذاتها: مطابقة الكيانات عبر تدفقات البيانات المالية

تختلف تدفقات بيانات السوق والإفصاحات والبيانات البديلة في تحديد ما يُعدّ مُصدِراً واحداً. إليك كيف نبني طبقة مطابقة تصمد عند إقفال الربع.

#البيانات

كيف يُفسد إجراءٌ مؤسسي فائت بياناتك المالية في صمت

تقسيمات الأسهم وعمليات الفصل ورموز التداول المُعاد استخدامها تُخرّب تاريخ الأسعار ومطابقة الكيانات قبل أن يلاحظ أحد. إليك كيف نتعامل مع الإجراءات المؤسسية حتى يبقى الاختبار الرجعي نزيهاً.

#المتجهات

إصدار المتجهات (embeddings) وإعادة الفهرسة دون توقّف الخدمة

بمجرّد تغيير نموذج التضمين (embedding) تصبح كل المتجهات المخزّنة عتيقة. إليك كيف نُصدِر نسخًا من المتجهات ونعيد فهرسة مجموعة وثائق مالية دون كسر الاسترجاع.

#البيانات

لماذا يجب أن يبدأ الذكاء الاصطناعي في التمويل من طبقة البيانات أولًا

النموذج هو الجزء السهل. أما السبب الذي يجعل مشاريع الذكاء الاصطناعي في التمويل تتعثر فيكاد يكون دائمًا في البيانات الكامنة تحتها. وإليك كيف نتعامل مع هذا الأمر.

تعمل على شيء مشابه؟

أخبِرنا عن بياناتك وسير العمل المحيط بها، وسنعطيك رأياً صريحاً.

احجز مكالمة تعريفية مدتها 30 دقيقة