تخطّ إلى المحتوى
كل الرؤى أتمتة العمليات المالية بالذكاء الاصطناعي

المعالجة الذكية للمستندات في القطاع المالي، من البداية إلى النهاية

المعالجة الذكية للمستندات (IDP) أكبر بكثير من مجرد التعرّف الضوئي على الحروف (OCR). إليك مسار التصنيف والاستخراج والتحقّق والتوجيه الذي نبنيه لتتدفّق المستندات المالية دون فريق إدخال بيانات.

متخصصون في القطاع المالي يعملون على مبادرة للذكاء الاصطناعي

المعالجة الذكية للمستندات هي المسار الذي يحوّل مستندًا ماليًا واردًا إلى بيانات مهيكلة ومُتحقَّق منها يستطيع نظام لاحق التصرّف بناءً عليها دون أن يدخلها إنسان يدويًا. وهي تعمل عبر أربع مراحل: تصنيف المستند، واستخراج الحقول المهمّة، والتحقّق من تلك الحقول مقابل أنظمة تملك الحقيقة أصلًا، ثم توجيه النتيجة إمّا إلى المعالجة الآلية المتكاملة (straight-through processing) أو إلى طابور المراجعة. يقع التعرّف الضوئي على الحروف (OCR) داخل المرحلة الثانية؛ فهو يتولّى جزءًا من العمل، ونادرًا ما يكون الجزء الذي يتعطّل.

تكتشف معظم الفرق هذا بالطريقة الصعبة. تشتري محرّك تعرّف ضوئي على الحروف، وتوجّهه نحو كومة من الفواتير وكشوف الحسابات البنكية، فتحصل على دقّة تعرّف على الحروف بنسبة 96 بالمئة في عرض تجريبي، ثم تراقب المسار الحقيقي وهو يتوقّف لأنّ لا أحد قرّر ما يحدث للأربعة بالمئة المتبقّية. لم يكن التعرّف على الحروف هو القيد قطّ. القيد هو معرفة أيّ مستند بين يديك، وأيّ الحقول حامل للثِقل، وماذا تفعل حين لا يكون النموذج متيقّنًا.

صنّف قبل أن تستخرج

الخطأ الأول هو تشغيل مستخرِج واحد على كل شيء. إشعار تحويلة، واتفاقية قرض موقّعة، وفاتورة مرافق لغرض «اعرف عميلك» (KYC)، وكشف حساب من وسيط ماليّ، لا يكاد يجمع بينها شيء لا في التخطيط ولا في الحقول التي تحتاجها. توجيه نموذج واحد نحوها جميعًا ينتج عجينة مبهمة، والأسوأ أنّه يخفي أين تفشل الدقّة.

صنّف أولًا. يسنِد مصنِّف المستندات كلّ ملف وارد إلى نوع، وهذا النوع هو الذي يحدّد أيّ مخطّط استخراج (extraction schema) وأيّ قواعد تحقّق تنطبق. يشتري لك هذا أمرين: تستطيع ضبط المستخرِجات لكل فئة مستندات بدل حساب متوسّط سلوكها، وتحصل على رقم دقّة لكل فئة، وهو المستوى الوحيد من التفصيل الذي يمكّنك من عزو أيّ تراجع حين ترتفع الأحجام في نهاية الربع ويفلت شيء ما.

وللتصنيف أنماط إخفاق خاصّة به يجدر تسميتها:

  • ملفات PDF المختلطة الأنواع، حيث يحوي ملف واحد رسالة تغطية، وثلاث فواتير، وكشف حساب. تحتاج إلى تقسيم على مستوى الصفحة قبل التصنيف، وإلا فإنّ وسم النوع بلا معنى.
  • الفئات شبه المتطابقة، مثل إشعار دائن مقابل فاتورة من قالب المورّد نفسه. هنا يخطئ المصنِّف بهدوء، وتظهر الكلفة على بُعد مرحلتين لاحقتين.
  • الأنواع الجديدة التي لا أمثلة تدريب لها. ينبغي أن يكون المصنِّف قادرًا على أن يقول «غير معروف» ويوجّه إلى إنسان، بدل تخمين أقرب فئة رآها.

الاستخراج مسألة مخطّط

بمجرّد معرفتك للنوع، يملأ الاستخراج مخطّطًا. بالنسبة إلى فاتورة، يعني ذلك المورّد، والرقم الضريبي، وبنود السطور، والعملة، والإجماليات، وشروط الدفع. الانضباط الهندسي هو معاملة الاستخراج على أنّه إنتاج قيم مُنمَّطة ومقيّدة، لا نصًّا حرًّا تنظّفه لاحقًا.

ينبغي أن يُرجع حقل المبلغ رقمًا بعملة معروفة، لا السلسلة النصّية “USD 1,240.00 ” بمسافة زائدة في نهايتها تكسر عملية ربط لاحقة. وينبغي أن يُحلَّل التاريخ إلى قيمة زمنية محدّدة مع تصريح واضح بافتراض المنطقة الزمنية، لأنّ قراءة تاريخ القيمة بفارق يوم واحد تغيّر المطابقة والتسوية. نُرفق ثقة على مستوى كل حقل (per-field confidence) بكل قيمة مستخرَجة، لأنّ قرار التوجيه لاحقًا يعتمد عليها، والاكتفاء بثقة على مستوى المستند يهدر بالضبط المعلومة التي تحتاجها.

التخطيط (layout) أهمّ من اختيار النموذج. الجداول التي تلتفّ عبر الصفحات، وبنود السطور بخلايا مدمجة، والأختام والكتابة اليدوية المتراكبة على نماذج مطبوعة، والفاكسات الممسوحة بدقّة 150 نقطة في البوصة، كلّها تُضعف الاستخراج بطرق لا يُظهرها ملف PDF نظيف أبدًا. ابنِ مجموعة التقييم من المستندات الحقيقية القبيحة، لا من النظيفة التي أرسلها المورّد، وإلّا فإنّ رقم الدقّة عندك يصف مجتمعًا لن تعالجه أبدًا.

في التحقّق تُثبِت المعالجة الذكية للمستندات جدواها في القطاع المالي

قد يُستخرَج الحقل بشكل صحيح ويظلّ خاطئًا من منظور الأعمال. التحقّق هو المرحلة التي تلتقط هذا، وهو ما يفصل بين مسار بجودة مالية وعرض تجريبي. تُفحَص القيم المستخرَجة مقابل أنظمة تملك بيانات مرجعية موثوقة أصلًا:

  • يُحَلّ المورّد في الفاتورة إلى سجلّ في سجلّ المورّدين الرئيسي عبر تحليل الكيانات (entity resolution)، لا عبر مطابقة سلسلة نصّية ضبابية تقرن “ACME Corp” بـ “ACME Corporation Ltd” فتدفع لحساب بنكي خاطئ.
  • تتّسق بنود السطور والإجماليات حسابيًا، ويُعلَّم أيّ إجمالي لا يساوي مجموع سطوره قبل أن يصل إلى دفتر الأستاذ.
  • تُطابَق الفاتورة مع أمر الشراء وإشعار استلام البضاعة حيث تنطبق المطابقة الثلاثية (three-way matching)، وتكون حدود التسامح في تلك المطابقة قابلة للضبط، لأنّ فرق تقريب بقيمة سنتين لا ينبغي أن يوقف دفعة، بينما فجوة بقيمة ألفَي دولار ينبغي أن توقفها.
  • تُفحَص التفاصيل البنكية مقابل السجلّ المحفوظ ومقابل قواعد العقوبات والاحتيال، إذ إنّ تغيّر رقم الحساب لمورّد معروف من أكثر إشارات الاحتيال في المدفوعات شيوعًا.

فشل التحقّق إشارة توجيه، فإذا كتمته أبطلت الغرض من المرحلة كلّها. تحمل كل قيمة مستخرَجة أثرًا يعود بها إلى الصفحة، والمنطقة، وإصدار النموذج الذي أنتجها، فحين يعترض مدقّق مالي (controller) على رقم، تستطيع أن تُبيّن من أين جاء. مسار التدقيق هذا يستحقّ مكانه؛ ففي معظم أطر الضوابط المالية، هو الفرق بين مسار يمكنك تشغيله في الإنتاج وآخر يبقى مجرّد نموذج أوّلي.

التوجيه، والمعالجة الآلية المتكاملة، وطابور المراجعة

تحدّد المرحلة الأخيرة مصير كل مستند. إن اجتاز كلّ حقل حامل للثِقل مرحلة الاستخراج فوق عتبته ونجح في التحقّق، ينفذ المستند مباشرةً، ويُرحَّل إلى النظام الهدف دون أيّ لمسة بشرية. وإن هبط أيّ حقل تحت العتبة أو أخفق في قاعدة تحقّق، فإنّه يُوجَّه إلى طابور المراجعة مع إبراز الحقول منخفضة الثقة وإظهار المنطقة المصدر، بحيث يؤكّد المراجع في ثوانٍ بدل إعادة إدخال كل شيء يدويًا.

يحكم خياران تصميميّان ما إذا كان هذا سينجح في الإنتاج:

  • تُضبَط العتبات لكل حقل انطلاقًا من مجموعة تقييم موسومة (labeled eval set)، بحيث يتطابق حجم طابور المراجعة مع ميزانية الإيجابيات الكاذبة التي يستطيع الفريق المالي تحمّلها. اضبطها بالحدس فإمّا تُغرِق الطابور أو تمرّر بيانات سيّئة بصمت. وكلاهما يقوّض الثقة في المسار، والثاني أبهظ بكثير.
  • تُغذّى تصحيحات المراجعين مجدّدًا بوصفها بيانات موسومة. كل إصلاح بشري مثال تدريب، والمسار الذي يلتقطها يتحسّن حيث كان أضعف بدل أن ينحرف بهدوء. راقب معدّل المعالجة الآلية المتكاملة لكل فئة مستندات عبر الزمن؛ فالمعدّل الهابط عادةً انحراف (drift)، أو صيغة مستند جديدة، أو تغيّر قالب من المصدر، وتريد أن تلتقط أيّها قبل نهاية الربع.

شغّله بهذه الطريقة، فيتقلّص فريق المراجعة من أناس يُدخلون كل مستند إلى أناس يحكمون في النسبة التي يعلّمها المسار فقط. تختفي وظيفة إدخال البيانات، وتبقى وظيفة التقدير والحكم، وهي المكان الصحيح الذي ينبغي أن يجلس فيه الإنسان.

الأسئلة الشائعة

ما الفرق بين المعالجة الذكية للمستندات (IDP) والتعرّف الضوئي على الحروف (OCR)؟

يحوّل التعرّف الضوئي على الحروف (OCR) البكسلات إلى حروف، أمّا المعالجة الذكية للمستندات (IDP) فهي المسار الكامل المحيط به: تصنيف المستند، واستخراج الحقول المهمّة، والتحقّق منها مقابل أنظمة مصدر الحقيقة، وتحديد ما إذا كان الأمر يستدعي مراجعة بشرية. التعرّف الضوئي على الحروف مكوّن واحد داخل هذه المنظومة، وغالبًا ليس الأصعب فيها.

ما عتبة الثقة التي ينبغي أن توجّه مستندًا إلى المراجعة البشرية؟

لا يوجد رقم عالمي واحد. اضبط العتبة لكل حقل انطلاقًا من مجموعة تقييم موسومة (labeled eval set) بحيث تتطابق طابور المراجعة مع ميزانية الإيجابيات الكاذبة التي يستطيع الفريق المالي تحمّلها فعليًا. فمبلغ التحويلة وسطر ملاحظة نصّي حرّ يستحقّان عتبتين مختلفتين تمامًا.

هل يمكن لنموذج واحد أن يعالج كل أنواع المستندات التي نستقبلها؟

لا ننصح بذلك. صنّف أولًا، ثم شغّل مستخرِجات مضبوطة لكل نوع على حدة. المستخرِج الشامل الواحد يخفي أيّ فئة من المستندات هي التي تفشل، ويجعل عزو الانحراف (drift) شبه مستحيل عند تراجع الدقّة.

قراءات ذات صلة

#النمذجة

استخلاص يصمد عند إقفال الربع، لا في العرض التوضيحي فحسب

ملف PDF نظيف يُستخلَص في طلب واحد، أما آلاف الإفصاحات والعقود الممسوحة ضوئيًا بتنسيقات غير متّسقة فلا. إليك كيف نبني استخلاصًا يستطيع المدقّق التحقق منه.

#أتمتة

أتمتة فواتير الموردين: بنية تصمد أمام الحالات الفوضوية النادرة

عروض التقاط الفواتير تبدو سهلة حتى تصل صيغ الموردين الحقيقية. إليك بنية الاستخراج والتحقق والمراجعة البشرية التي نعتمدها لبلوغ معدلات معالجة آلية مباشرة عالية.

#التأمين

أتمتة فرز مطالبات التأمين مع ضبط الإنذارات الكاذبة

فرز المطالبات ينبغي أن يكون سريعاً دون دفع مطالبات لم تكن مغطّاة أصلاً، ودون جرّ أصحاب المطالبات الصادقين إلى التحقيق. في ما يلي تصميم استخراج المستندات والتسجيل الذي نبنيه لسير عمل مطالبات خاضع للتنظيم.

#التصنيف

بناء محرّك تصنيف المعاملات

يغذّي تصنيف المعاملات وضع الميزانيات والاكتتاب والتسوية على حدّ سواء. وفي ما يلي النموذج وحلقة التغذية الراجعة التي نبنيها لفئات دقيقة.

تعمل على شيء مشابه؟

أخبِرنا عن بياناتك وسير العمل المحيط بها، وسنعطيك رأياً صريحاً.

احجز مكالمة تعريفية مدتها 30 دقيقة