سؤال مصاحبه

صفر خطای اعتبارسنجی و مبالغ کل اشتباه در فاکتورها

Zero validation errors and wrong invoice totals

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یک پایپ‌لاین استخراج با اعمال سخت‌گیرانه‌ی اسکیما (Schema enforcement)، به مدت یک ماه هیچ خطای اعتبارسنجی‌ای گزارش نکرده است. در بازبینی بخش مالی مشخص می‌شود بخشی از مبالغ کل استخراج‌شده با اسناد مبدأ همخوانی ندارند و یک فیلد وضعیت (Status) اغلب مقداری می‌گیرد که گرچه در شمارش (Enum) مجاز است، اما با آن سند خاص همخوانی ندارد. مهندسان می‌گویند اسکیما درستی خروجی را تضمین می‌کند. به آن‌ها چه می‌گویید و چه چیزی می‌سازید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اعمال اسکیما ساختار داده را تضمین می‌کند، نه درستی حقیقت را. مبلغ کلی که نوع داده‌اش درست ولی عددش اشتباه باشد، از تمام بررسی‌های قالب عبور می‌کند؛ مقدار یک Enum هم می‌تواند کاملاً مجاز باشد ولی همچنان انتخاب غلطی به حساب بیاید. راه‌حل، ساخت یک ارزیابی معنایی (Semantic eval) است: مجموعه‌ای برچسب‌خورده از اسناد همراه با رکوردهای مرجع (Gold records)، سنجش تطابق دقیق (Exact match) و دقت در سطح هر فیلد، به‌علاوه‌ی یک سیگنال اطمینان از طریق استخراج مکرر یا احتمالات توکن‌ها که فیلدهای با اطمینان پایین را برای بازبینی به نیروهای انسانی بفرستد.

پاسخ کامل

خطاهایی که اسکیما نمی‌تواند ببیند

درس خروجی‌های ساختاریافته (Structured outputs) خطاهایی را فهرست می‌کند که حتی با وجود فعال بودن اسکیما هم باقی می‌مانند:

خطا مثال چرا از اسکیما عبور می‌کند؟
مقدار ساختگی در متن یک مبلغ آمده اما در رکورد مبلغ دیگری ثبت شده است نوع داده درست است، اما محتوا غلط
سردرگمی در Enum مدل عضوی مجاز را انتخاب می‌کند که با سند همخوانی ندارد آن عضو در مجموعه‌ی مجاز تعریف شده است
طول آرایه تعداد اقلام فاکتور (Line items) بیش از حد زیاد یا کم است همه‌ی ارائه‌دهنده‌ها محدودیت‌های تعداد اقلام را هنگام رمزگشایی اعمال نمی‌کنند
جا انداختن فیلد اختیاری فیلدی که پر کردنش دردسر داشته، جا افتاده است اختیاری بودن یعنی نبودنش مجاز است

درس رمزگشایی مقید (Constrained decoding) دو عامل دیگر را مطرح می‌کند که مقادیر را بدتر می‌کنند: گرامری بیش از حد سخت‌گیر برای داده‌های ناموجود که مدل را وادار به جعل داده (push) می‌کند، و قرار گرفتن فیلد تصمیم‌گیری قبل از فیلد استدلال.

چه چیزی باید بسازید؟

  1. یک مجموعه‌ی برچسب‌خورده: تمرین درس از 50 سند با رکوردهای برچسب‌خورده‌ی دستی استفاده می‌کند. فاکتورهای واقعی، به‌ویژه نمونه‌های دشوار را برچسب‌گذاری کنید.
  2. سنجه‌ها در سطح فیلد: تطابق دقیق روی کل رکورد، دقت به تفکیک هر فیلد، و انطباق نوع داده به عنوان یک ردیف سنجش اولیه (Sanity check) که باید نزدیک 100 درصد بماند.
  3. اطمینان در سطح فیلد: فرایند استخراج را سه بار اجرا کنید و میزان همگرایی خروجی‌ها را بسنجید، یا احتمالات توکن‌ها را بررسی کنید و فیلدهایی را که با هم مغایرت دارند پرچم‌گذاری کنید.
  4. صف بازبینی: رکوردهای با اطمینان پایین، پیش از ارسال به حسابداری در اختیار ناظر انسانی قرار گیرند.
  5. ترمیم اسکیما: یک فیلد استدلال پیش از فیلد وضعیت بگذارید، برای اعضای Enum توضیحاتی بنویسید که معنایشان کاملاً روشن شود، و اگر در اسناد مبدأ حالاتی وجود دارد که با هیچ‌کدام از گزینه‌ها سازگار نیست، عضو null یا «سایر» (Other) را اضافه کنید.

چرا بزرگ‌تر کردن مدل مشکل را حل نمی‌کند؟

درس خروجی ساختاریافته یادآوری می‌کند که اعمال گرامر به یک مدل کوچک امکان می‌دهد در وظایف ساختاریافته مدل‌های بسیار بزرگ‌تر را شکست دهد؛ چرا که فرمت خروجی از اندازه‌ی مدل جدا شده است. اما صحت مقادیر این‌طور نیست. تنها یک ارزیابی با داده‌های برچسب‌خورده نشان می‌دهد این مقادیر چند درصد مواقع درست هستند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اسکیما هیچ‌وقت کدام خطا را نمی‌تواند ببیند؟ پاسخ مورد انتظار: مقداری با نوع داده‌ی درست و محتوای نادرست، مانند جمع کلی که از یک سطر اشتباه برداشته شده باشد.
  • سطح 3: چطور بدون مدل جدید، برای هر فیلد میزان اطمینان به‌دست می‌آورید؟ پاسخ مورد انتظار: استخراج را سه بار تکرار کنید و میزان توافق خروجی‌ها را بسنجید، یا احتمالات توکن را بخوانید و فیلدهای دارای اختلاف را برای بازبینی علامت‌گذاری کنید.
  • سطح 4: مدل مدام یک عضو از وضعیت Enum را اشتباه انتخاب می‌کند. راه‌حل‌های کاندید چیست؟ پاسخ مورد انتظار: اعضای Enum را شفاف توصیف کنید تا معنای هرکدام واضح باشد، فیلد استدلال را قبل از وضعیت قرار دهید، و بررسی کنید که آیا در اسناد مواردی وجود دارد که با هیچ عضوی همخوانی نداشته باشد؛ که در این صورت باید یک عضو null یا «سایر» افزوده شود.
  • سطح 4: گزارش نهایی ارزیابی چه ساختاری دارد؟ پاسخ مورد انتظار: انطباق با اسکیما در حد نزدیک به 100 درصد به عنوان یک ردیف سنجش اولیه، سپس تطابق دقیق و دقت در سطح فیلد برای مجموعه‌ی برچسب‌خورده، همراه با ذکر نام سخت‌ترین فیلدها.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «خطای اعتبارسنجی صفر یعنی صفر خطای استخراج.» اعتبارسنجی صرفاً ساختار را بررسی می‌کند؛ در حالی که بازبینی خطاهایی در خود مقادیر پیدا کرده که هیچ اعتبارسنجی شکلی‌ای قادر به دیدنشان نیست.
  • «مدل را بزرگ‌تر کنید تا مقادیر درست شوند.» اندازه‌ی مدل نرخ خطا را تغییر می‌دهد، نه نقاط کور را؛ بدون یک ارزیابی برچسب‌خورده هم نمی‌توانید بفهمید این تغییر چقدر موثر بوده است.
  • «الگوی (Pattern) سخت‌گیرانه‌تری برای فیلد جمع کل بگذارید.» گرامر محدودتر رقم را درست نمی‌کند؛ گرامری که بیش از حد سخت‌گیر باشد حتی مدل را به سمت جعل داده push می‌کند.

کجای دوره آموزش داده می‌شود

درس خروجی‌های ساختاریافته خطاهایی را که از اسکیما عبور می‌کنند برمی‌شمارد و ارزیابی استخراج برچسب‌خورده را پایه‌ریزی می‌کند؛ درس رمزگشایی مقید علل مرتبط با گرامر سخت‌گیرانه و ترتیب فیلدها را پوشش می‌دهد؛ و درس خروجی ساختاریافته تفکیک قابلیت اطمینان قالب از اندازه‌ی مدل را توضیح می‌دهد.