كيف تكتشف فقدان البيانات الصامت في نظام استخراج بالذكاء الاصطناعي

الجواب المختصر

قارن ما وصل إلى قاعدة البيانات بما يحويه المصدر، بنداً ببند، واعتبر أي نسبة إنجاز لم تطابقها مع المصدر غير مثبتة. نظامي كان يقيس التغطية لكل منشور. كشف فيه 684 عربة عاد بـ401 فقط، وسُجّل له نجاح كامل: 1 من 1. وهذا النوع من الخطأ أضاع بصمت نحو 130,000 سجل.

اليوم تمر كل دفعة معالجة على أربع بوابات قبل أن يُكتب أي شيء: التغطية، والإسناد إلى المصدر، ومنع التقلص، والنقص.

ما الذي أخفاه المؤشر

النظام يحوّل كشوفات الاسترداد العربية من مجموعات فيسبوك وقنوات تيليجرام سودانية إلى سجل لكل عربة، في سجل عام مجاني للعربات المنهوبة في الحرب. بعض المنشورات عن عربة واحدة، وبعضها فيه أكثر من 1,000 رقم شاسي.

منشور واحد كان فيه 1,402 رقم شاسي. نفدت مساحة الإخراج عند النموذج وهو يكتب، فأعاد 16 عربة. وسُجّل المنشور على أنه عولج. بعد إصلاح حد الإخراج وإعادة الاستخراج، خرج منه 1,052 عربة، وكل رقم شاسي منها مطابق لنص المصدر.

مؤشر التغطية لكل منشور بدا سليماً طوال الوقت. المنشور يُحسب منجزاً سواء أعاد 16 صفاً أو 1,052.

والملخصات كذبت أيضاً. قارئ يفهم شكلاً واحداً من شكلين لملفات النتائج رفض 195 إدخالاً وأسقط 3,277 عربة، بينما كان الملخص يقول ingested 10 new verdict file(s). الفحص الوحيد الذي كشف فقداناً صامتاً في هذا المشروع هو عدّ صفوف قاعدة البيانات ومقارنتها بما ادّعى النموذج أنه استخرجه.

البوابات الأربع

1. التغطية. كل منشور في الدفعة يجب أن يعود، وإلا لا يُكتب شيء من الدفعة. النموذج قد يتوقف مبكراً ويبلغ بالنجاح. في أحد القياسات حلّل Haiku منشوراً واحداً من 21 وأبلغ أن الـ21 اكتملت.
2. الإسناد إلى المصدر. كل رقم شاسي ولوحة ورقم تواصل وسعر يجب أن يظهر في نص المنشور أو في نص صوره المقروء ضوئياً. وما عدا ذلك يُحذف. كشفت هذه البوابة 106 أرقام مختلقة، منها ستة سجلات كاملة لعربات، ورقم هاتف حقيقي نُسخ إلى 117 عربة من منشور مجاور. والنموذج الذي أنتجها لم يُبلغ عن أي واحد من الـ106.
3. منع التقلص. إعادة التشغيل لا تستطيع أن تستبدل عربات منشور مخزنة بعدد أقل منها. إعادة التشغيل السيئة تُرفض، وتبقى الصفوف السليمة.
4. النقص. عُدّ الأرقام التي لها شكل رقم الشاسي في المصدر، وقارنها بعدد العربات المستخرجة. الفجوة تُعلَّم ليقرأها شخص.

لماذا تنبّه بوابة النقص وتمنع بوابة التغطية

التغطية والإسناد فحصان دقيقان. المنشور إما موجود أو مفقود. والرقم إما في المصدر أو غائب عنه. والفحص الدقيق يمكنه أن يتصرف وحده: التغطية توقف الدفعة، والإسناد يحذف القيمة.

أما النقص فتقدير. بعض المنشورات قوائم أرقام تتبّع بلا أي مفردة عن العربات، ونتيجتها الصحيحة صفر عربات. بوابة نقص مانعة كانت سترفضها كلها. والبوابة التي تكثر إنذاراتها الكاذبة تُطفأ، والبوابة المطفأة لا تكشف شيئاً. لذلك تكتفي بالتنبيه، وأنا أقرأ التنبيهات.

إصلاح بوابة الإسناد

في البداية كانت بوابة الإسناد تفحص الأرقام مقابل نص المنشور وحده. ورقم الشاسي المختوم على لوحة ثم المصوَّر غائب عن النص بطبيعته، فبقيت البوابة مطفأة لكل منشور فيه صورة. وحين شُغّلت رغم ذلك مرة، حذفت 251 رقماً حقيقياً.

بعد أن قُرئت الصور بالتعرف الضوئي عبر Google Cloud Vision، وجّهتُ البوابة إلى نص المنشور مع النص المقروء من صوره. في دفعة واحدة من 450 منشوراً، كان 537 رقم شاسي موجوداً في النص المقروء من الصور فقط. فحص النص وحده كان سيحذفها كلها، وهذه الأرقام المختومة هي ما يُفحص به حوش الحجز عند البوابة.

أين ينطبق هذا

كل نظام يحوّل المستندات إلى صفوف بيانات فيه هذه النقطة العمياء. أنت تعدّ المستند، وتضيع منك السطور.

• استقبال المطالبات. عُدّ بنود المطالبة في كل نموذج، وقارنها بالصفوف التي كُتبت لتلك المطالبة.
• مستندات اعرف عميلك (KYC). اربط كل حقل مستخرج، ومنه رقم الهوية وتاريخ الميلاد، بالنص المقروء من المستند الذي جاء منه. واحذف ما لا تجده.
• الفواتير والإيصالات. قارن البنود المستخرجة بالبنود الظاهرة في الصفحة، وعلّم الفجوة ليراجعها شخص.
• إعادة المعالجة. ارفض أي إعادة تشغيل تستبدل السجلات بعدد أقل منها.

أسئلة شائعة

ما هو فقدان البيانات الصامت؟

سجلات تختفي بينما تُبلغ كل مهمة بالنجاح. العَرَض الوحيد عدد أقل مما في المصدر، ولن تراه إلا إذا عددتَ المصدر.

كيف أمنع النموذج اللغوي من اختلاق بيانات أثناء الاستخراج؟

افحص كل قيمة مستخرجة مقابل نص المصدر فحصاً آلياً، واحذف ما ليس فيه. في دفعة من 4,703 عربات حذفت البوابة 7 حقول، أي 0.15%. وعلى مدى المشروع أبلغت النماذج عن 0 من 106 أرقام مختلقة.

هل يمنع فحص جودة البيانات أم ينبّه؟

دعه يتصرف وحده حين يكون الفحص دقيقاً: أوقف الدفعة التي ينقصها بند، واحذف القيمة الغائبة عن مصدرها، وارفض إعادة التشغيل التي تُنقص السجلات. ونبّه فقط حين يمكن لمدخلات سليمة أن تُطلقه، مثل قائمة لا عربات فيها.

المشروع خلفها

البناء كاملاً في دراسة حالة سجل العربات. وطريقة البحث في السجل في كيف تعرف إن كانت عربتك المنهوبة في السودان قد ظهرت، وجانب التكلفة في كيف خفّضتُ تكلفة الذكاء الاصطناعي نحو عشر مرات.

إذا كنت تدير استقبال المطالبات أو معالجة الفواتير وتريد هذه الفحوص في نظامك، هذه طريقة عملي.