تخطّ إلى المحتوى
كل الرؤى طبقة البيانات المالية

استراتيجيات تقطيع المستندات المالية

التقطيع الساذج يفصل الجدول عن ترويسته، والتعهّد المالي عن بنده. إليك كيف نقطّع الإفصاحات والعقود والقوائم المالية بحيث يبقى الاسترجاع متماسكًا.

4 دقائق قراءة #تقطيع المستندات#rag#معالجة المستندات
متخصصون في القطاع المالي يعملون على مبادرة للذكاء الاصطناعي

قطّع المستندات المالية على امتداد بنيتها، لا بحسب عدد الرموز (tokens). اقطع عند حدود الأقسام والبنود، وأبقِ كل جدول مقترنًا بترويسته ووحداته، وألحِق السياق المحيط (مسار العنوان، فترة الإفصاح، الكيان، العملة) بكل قطعة. التقطيع بنافذة ثابتة هو ما يُفسد الاسترجاع: فهو يفصل التعهّد المالي (covenant) عن تعريفه، والرقمَ عن تسمية الصف التي تمنحه معناه.

الخلل سهل إعادة إنتاجه. خذ نموذج 10-K، ومرّر عليه نافذة منزلقة بطول 512 رمزًا على النص المستخرَج، ثم ابحث عن تعهّد تغطية الفائدة (interest coverage covenant). سيُعيد المسترجِع قطعةً تحتوي على نسبة العتبة لكن دون تعريف المصطلح الذي تنطبق عليه، لأنّ التعريف كان قبل صفحتين تحت عنوان مختلف. عندئذٍ يجيب النموذج برقمٍ حقيقي ومعنىً اختلقه. تلك هي مشكلة التقطيع الساذج بأكملها على المحتوى المالي. تُسترجَع الأجزاء بنظافة، ثم تُضلِّل بثقةٍ تامة.

البنية هي الإشارة، فحلّلها قبل أن تقطع

المستندات المالية ليست نصًّا حرًّا تتخلّله تنسيقات عرضية. الميزانية العمومية شبكة تتحدّد فيها دلالة الخلية باقتران تسمية الصف مع فترة العمود. واتفاقية الائتمان شجرةٌ من المصطلحات المُعرَّفة والأقسام والجداول (schedules) تُحيل بعضها إلى بعض. والنشرة (prospectus) تُكرّر الرقم نفسه ضمن ثلاثة عروض مختلفة. إذا بدأ خطّ الإنتاج لديك من تفريغٍ نصي مسطّح، فقد فقدتَ سلفًا الإحداثيات التي تحتاجها للتقطيع الجيّد.

لذا فالمرحلة الأولى هي تحليل التخطيط (layout parsing)، لا التقطيع. تحتاج إلى ترتيب قراءة يحترم الأعمدة، وتسلسل هرمي للعناوين، وهندسة خلايا الجداول، وحدود الحواشي والإحالات المتبادلة. انطلاقًا من ذلك تبني القطع. الترتيب مهمّ لأنّ التحليل هو ما يُحدّد ما يُعدّ حدًّا صحيحًا أصلًا.

  • بالنسبة للأقسام النصية (نظرة عامة على النشاط، عوامل المخاطرة، مناقشة الإدارة وتحليلها MD&A)، اقطع على شجرة العناوين وأبقِ كل قسمٍ طرفي متماسكًا حتى سقفٍ للحجم. وعندما يطول القسم، اقطع عند حدود الفقرات واحمِل مسار العنوان إلى كل قطعة فرعية.
  • بالنسبة للجداول، أبقِ الجدول كاملًا ما دام يتّسع ضمن القطعة. وعندما لا يتّسع، قسّمه بحسب مجموعات الصفوف وكرّر صف الترويسة وأيّ سطر وحدات في كل جزء. فالجدول المالي دون ترويسته ودون مقياسه («بالآلاف، عدا نصيب السهم») يكاد يكون عديم الفائدة في الاسترجاع.
  • بالنسبة للعقود، البند هو الذرّة. اقطع عند البند المرقّم أو البند الفرعي، ولا تقطع أبدًا في منتصف جملة، واحتفظ برقم البند كي يتمكّن الاستدلال اللاحق من الاستشهاد به.

احمِل السياق داخل القطعة، لأنّ المسترجِع لا يرى سوى القطعة

عند الاستعلام يُقيّم المسترجِع قطعةً معزولة. فهو لا يرى المستند المحيط بها. لذا فأيًّا كان ما احتاجه القارئ من الصفحات المجاورة لفهم تلك القطعة، عليك أن تطويه داخلها قبل الفهرسة.

عمليًّا، نُلحق ترويسة سياق مضغوطة بمقدّمة كل قطعة: نوع المستند وعنوانه، وفترة إعداد التقارير، والكيان المُعِدّ للتقارير، والعملة والمقياس، ومسار العنوان الكامل نزولًا إلى القطعة. فصفٌّ من الأرقام في قائمة تدفقات نقدية يصبح قابلًا للاسترجاع بوصفه «Acme Corp، تدفقات نقدية موحّدة، السنة المالية 2025، بآلاف الدولارات، الأنشطة التمويلية» بدلًا من قائمة أرقام عارية قد تنتمي إلى أي شركة في أي سنة. وهذا يحمي مباشرةً صحّة النقطة الزمنية (point-in-time correctness). فبدون ختم الفترة على القطعة، سيُدخل المسترجِع بلا تردّد رقمَ الربع الأول ضمن إجابةٍ عن السنة الكاملة، ولن يلتقط ذلك أيّ فحصٍ لاحق لأنّ الرقم نفسه أصيل.

هناك أمران آخران يخصّان بيانات القطعة الوصفية (metadata)، يُحفظان بجانبها لا ضمن نصّها المُضمَّن (embedded text):

  • سلسلة النَّسَب (Lineage): معرّف المستند المصدر، ورقم الصفحة، ونطاق البايتات أو الخلايا الذي جاءت منه القطعة. فحين تكون الإجابة خاطئة، تحتاج إلى تتبّع المسار رجوعًا حتى المنشأ الدقيق، وهذا ليس اختياريًّا في أيّ شيءٍ يمسّ مسار التدقيق (audit trail).
  • الدور البنيوي: هل هذا عنوان أم جدول أم حاشية أم تعريف أم كتلة توقيع؟ تتحسّن جودة الاسترجاع حين تستطيع التصفية أو التعزيز بحسب الدور، ويمكن للمسترجِع الهجين (hybrid retriever) أن يزن قطعة تعريفات على نحوٍ يختلف عن قطعةٍ سردية.

التعريفات تستحقّ معاملةً خاصة. ففي العقود، المصطلحات المُعرَّفة هي مفاصل المستند بأكمله. نستخرج قسم التعريفات على حدة، وحيثما اتّكأ بندٌ على مصطلح، إمّا أن ندرج شرحًا موجزًا في متنه، أو نفهرس البند وتعريفاته بوصفهما زوجًا مرتبطًا. هذا هو التغيير الأوحد الأكثر تقليلًا لخلل «التعهّد المالي دون تعريفه».

اقطع حيث ينتهي المعنى، ثم قِس ما إذا كان ذلك قد نجح

القاعدة الجامعة مملّة لكنها صامدة: اقطع عند حدٍّ يتعرّف عليه محرّر بشري، ولا تقطع أبدًا في منتصف وحدة دلالية. جملة، أو جدول، أو بند، أو حاشية، أو مصطلح مُعرَّف. الأحجام الثابتة ملاذٌ أخير حين تنفد البنية فعلًا، لا الآلية الأساسية. والتداخل (overlap) بين القطع رقعةٌ فجّة على أخطاء الحدود؛ فإذا وجدتَ نفسك ترفع التداخل إلى 30 بالمئة لاستعادة التماسك، فالإصلاح الحقيقي حدٌّ أفضل، لا مزيدٌ من التكرار.

لا شيء من هذا يستحقّ أن يُبنى على الثقة العمياء، لذا ابنِ مجموعة تقييم (eval set) من استعلامات حقيقية على مستندات حقيقية. مجموعتنا تقرن السؤال بالنطاق المحدّد الذي يجيب عنه، ونُقيّم ما إذا كانت القطع المُسترجَعة تحتوي فعلًا على ذلك النطاق مع سياقه الضروري. القطعة التي تُعيد الرقم الصحيح دون تسمية الصف أو الفترة تُحتسب إخفاقًا، لأنها ستُنتج إجابةً خاطئة لاحقًا حتى وإن بدا مقياس الاسترجاع سليمًا. تتبّع ذلك بمعزلٍ عن معدّل الإصابة الخام.

راقب أمرين مع مرور الوقت. الأول: تغطية الجداول والحواشي، حيث يتدهور معظم خطوط الاستخراج بهدوء عندما يظهر قالب مستند جديد مع نهاية الربع المالي. والثاني: انزياح حدود القطع (chunk-boundary drift): فحين يُغيّر مورّدٌ تخطيط إفصاحٍ ما أو تستبدل أنت محلّل التخطيط، تنزاح الحدود ويبدأ الاسترجاع الذي كان يعمل في إعادة شظايا. أعِد تشغيل مجموعة التقييم على كل دُفعة استيعاب (ingestion batch)، فيظهر الأمران قبل أن يصلا إلى مستخدم. الفحوص العشوائية تفوتها. عامِل التقطيع بوصفه جزءًا حيًّا من طبقة البيانات (data layer) يستحقّ المراقبة نفسها التي يستحقّها أيّ شيءٍ آخر يغذّي قرارًا، لا بوصفه خطوة معالجة مسبقة تضبطها مرّةً وتنساها.

الأسئلة الشائعة

لماذا لا نكتفي بنافذة رموز ثابتة (fixed token window) للتقطيع؟

النافذة الثابتة تتجاهل بنية المستند، فتفصل الجدول عن ترويسته أو المصطلح المُعرَّف عن تعريفه بشكل متكرر. في الإفصاحات والعقود والقوائم المالية يحمل التخطيط (layout) معنىً، والتقطيع بحسب عدد الرموز وحده يُهدر هذا المعنى.

ما الحجم المناسب للقطعة (chunk) في المستندات المالية؟

لا يوجد حجم واحد يناسب الجميع. تُسترجَع الأقسام النصية جيّدًا عند نحو 400 إلى 800 رمز (token)، وينبغي إبقاء الجداول كاملة ما دامت تتّسع، وتقسيمها بحسب مجموعات الصفوف مع تكرار الترويسة عند عدم اتّساعها، أمّا بنود العقود فيجب أن تتبع حدّ البند بصرف النظر عن الطول.

هل أحتاج إلى التعرّف الضوئي على الحروف (OCR) وتحليل التخطيط قبل التقطيع؟

نعم بالنسبة للقوائم الممسوحة ضوئيًا والإفصاحات القديمة. تحتاج إلى ترتيب القراءة، وإحداثيات خلايا الجدول، وتسلسل العناوين قبل أن تتمكّن من التقطيع على نحوٍ سليم، لأنّ التفريغ النصي الخام يطمس الأعمدة ويُتلف البنية التي يعتمد عليها المقطِّع.

قراءات ذات صلة

#النمذجة

استخلاص يصمد عند إقفال الربع، لا في العرض التوضيحي فحسب

ملف PDF نظيف يُستخلَص في طلب واحد، أما آلاف الإفصاحات والعقود الممسوحة ضوئيًا بتنسيقات غير متّسقة فلا. إليك كيف نبني استخلاصًا يستطيع المدقّق التحقق منه.

#البنية التقنية

الاسترجاع الهجين للإيداعات التنظيمية والمحاضر وتقارير المحللين

البحث الدلالي المحض يُضيّع الرموز الدقيقة للأسهم والمصطلحات المُعرَّفة التي تتوقف عليها الإجابات المالية. إليك كيف نبني نظام RAG هجين يستطيع المحلل أن يتتبّع إجابته رجوعًا إلى السطر المصدري.

#البيانات

تهيئة البيانات المالية بحيث يُرجِع الاسترجاع الرقم الصحيح

يفشل الاسترجاع فوق البيانات المالية حين يتجاهل التخزين الطريقة التي تنقسم بها الأسئلة. إليك كيف نبني مستودعًا للبيانات ومخزنًا متجهيًا تظل الإجابات معه دقيقة وقابلة للتتبع.

#مراقبة البيانات

مراقبة جودة البيانات (data quality observability) لأنظمة الذكاء الاصطناعي المالية

تدفّق بيانات معطوب يظهر على شكل إجابة خاطئة على بُعد ثلاث طبقات لاحقة. إليك مراقبة الحداثة والحجم والمخطّط (schema) التي نفرضها على البيانات المالية.

تعمل على شيء مشابه؟

أخبِرنا عن بياناتك وسير العمل المحيط بها، وسنعطيك رأياً صريحاً.

احجز مكالمة تعريفية مدتها 30 دقيقة