سؤال مصاحبه

تمام خروجی‌ها معتبرند اما پاسخ‌ها غلط از آب درمی‌آیند

Every output validates and the answers are wrong

  • سطح ۳: ارشد
  • طراحی
  • ۱۰ دقیقه

در حال بازبینی اسکیمای یک سرویس استخراج داده هستید. اسکیما به این شکل است: {"answer": ..., "reasoning": ..., "date": <a strict year-month-day regex>} و با رمزگشایی مقید (constrained decoding) اعمال می‌شود. تطابق با اسکیما (compliance) بی‌نقص است، اما دقت پایینی دارد و بعضی از تاریخ‌ها کاملاً ساختگی‌اند. کجای این طراحی ایراد دارد و چطور باید اصلاحش کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دو ایراد اساسی وجود دارد که هیچ اعتبارسنجی (validator) متوجه‌شان نمی‌شود. اول این‌که فیلد answer پیش از فیلد reasoning آمده است؛ در نتیجه، مدل قبل از این‌که استدلال کند، به یک پاسخ commit می‌کند. دوم این‌که الگوی سخت‌گیرانه‌ی تاریخ هیچ راه قانونی و مجازی برای گفتن «نامشخص» باقی نگذاشته است؛ بنابراین مدل برای رعایت انطباق، از خودش تاریخ می‌سازد. فیلد reasoning را اول و answer را آخر بگذارید، و برای تاریخ‌های ناموجود، امکان مقدار null یا یک نشانگر (sentinel) را فراهم کنید. ترتیب فیلدها منطق اجرای کار است، نه صرفاً قالب‌بندی ظاهری؛ یک گرامر بیش‌ازحد سخت‌گیر، مدل را ناچار می‌کند با اطمینان کامل مقدار غلط تحویل دهد.

پاسخ کامل

ایراد اول: commit زودهنگام به پاسخ

تولید توکن‌ها از چپ به راست انجام می‌شود. وقتی فیلد answer اول می‌آید، مدل باید برچسب نهایی را پیش از نوشتن حتی یک کلمه تحلیل تولید کند؛ بخش reasoning که بعد از آن می‌آید، صرفاً توجیه انتخابی است که از قبل انجام شده است. اگر ترتیب را برعکس کنید، مدل تحلیلش را درون کانتکست می‌نویسد و پاسخ نهایی به همین تحلیل مشروط می‌شود. ساختار JSON در هر دو حالت به یک اندازه معتبر است؛ اما فقط در حالت دوم پاسخ از نظر منطقی درست خواهد بود.

{"reasoning": "... therefore ...", "answer": "yes"}

ایراد دوم: گرامری بدون راه خروج

ریجکسِ تاریخ فقط تاریخ‌های خوش‌ساخت و معتبر را می‌پذیرد. وقتی در متن مبدأ تاریخی وجود ندارد، مدل نمی‌تواند «unknown» را خروجی دهد؛ ماسکی (mask) که تمام توکن‌های صادقانه را ممنوع کند، راهی جز تولید توکن‌های غیرصادقانه باقی نمی‌گذارد. مقدار null یا یک رشته‌ی نشانگر را در اسکیما مجاز کنید و در پرامپت به مدل بگویید از آن استفاده کند.

دیگر خطاهای بالقوه‌ای که در همین بازبینی باید بررسی شوند

  • اسکیماهای بازگشتی پشت کتابخانه‌های مبتنی بر ماشین حالت (state-machine). این ماشین‌ها بازگشت را تا یک عمق ثابت مسطح (flatten) می‌کنند؛ ساختارهای تودرتو به یک موتور گرامر مستقل از متن (context-free grammar engine) نیاز دارند.
  • enumهای غول‌پیکر. یک enum با 10000 گزینه بسیار کند کامپایل می‌شود یا زمان اجرای آن به پایان می‌رسد (timeout)؛ ابتدا کاندیداها را با یک بازیاب (retriever) محدود کنید و بعد قیدها را فقط روی همان گزینه‌ها بگذارید.
  • حالت JSON ساده بدون اسکیما. این حالت صرفاً ساختار نحوی (syntax) را تضمین می‌کند، نه وجود فیلدهای مدنظر شما را.

برنامه‌ی اعتبارسنجی که جلوی این خطا را می‌گرفت

نرخ انطباق فقط یکی از چهار سنجه‌ی لازم است. این سه مورد را هم اضافه کنید: اعتبار معنایی (semantic validity) که با یک مدل داور یا مجموعه‌داده‌ی برچسب‌دار سنجیده می‌شود، نرخ پوشش فیلدها (field coverage rate)، و تاخیر (latency) در صدک‌های p50 و p99. سیستمی با انطباق بی‌نقص و اعتبار معنایی ضعیف، دقیقاً مصداق همین سناریو است.

قاعده‌ی پیشنهادی برای تیم

هر اسکیمایی را که فیلدهای answer یا decision را قبل از فیلدهای استدلال می‌گذارد رد کنید. حالت JSON خام و بدون اسکیما را رد کنید. هر اسکیمای بازگشتی را که پشت یک کتابخانه‌ی صرفاً مبتنی بر ماشین حالت قرار دارد علامت بزنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: وقتی انطباق از قبل بی‌نقص است، اعتبار معنایی را چطور اندازه می‌گیرید؟ پاسخ مورد انتظار: ارزیابی یک نمونه‌ی برچسب‌دار توسط یک مدل داور یا با قواعدی روی محتوا، که جدا از تطابق با اسکیما پایش می‌شود.
  • سطح 3: خروجی به یک ساختار درختی نیاز دارد، مثلاً کامنت‌های تودرتو. چه تغییری باید داد؟ پاسخ مورد انتظار: کتابخانه‌های مبتنی بر ماشین حالت، بازگشت را مسطح می‌کنند؛ باید سراغ موتور گرامر مستقل از متن بروید.
  • سطح 4: محصول خروجی را به‌صورت استریم برای کاربر می‌فرستد و برای کاهش تاخیر می‌خواهد پاسخ اول بیاید. این تعارض را چطور حل می‌کنید؟ پاسخ مورد انتظار: بده‌بستان (trade-off) را مشخص کنید؛ گزینه‌ها عبارتند از دو بار فراخوانی، قرار دادن استدلال در یک فیلد پنهان قبل از پاسخِ قابل مشاهده، یا پذیرفتن تاخیر؛ هرگز نباید با حفظ انتظار قبلی از دقت، پاسخ را اول بیاورید.
  • سطح 4: تاریخ‌های ساختگی چطور خود را در مانیتورینگ نشان می‌دادند؟ پاسخ مورد انتظار: نرخ پوشش نزدیک به 100 درصد برای یک فیلد، آن هم در پیکره متنی که خیلی از داده‌هایش فاقد تاریخ هستند، خودش یک زنگ خطر است؛ این نرخ را با نرخ پایه‌ی (base rate) حضور فیلد در متن مبدأ مقایسه کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ریجکس را سخت‌گیرانه‌تر کنید تا فقط تاریخ‌های معقول پذیرفته شوند.» خود گرامر ریشه‌ی مشکل است؛ سخت‌تر کردنش مدل را مجبور به جعل بیشتر می‌کند.
  • «یک خط به پرامپت اضافه کنید و از مدل بخواهید صادق باشد.» ماسک اعمال‌شده جلوی توکن‌های صادقانه را گرفته است؛ هیچ پرامپتی نمی‌تواند مدلی را مجبور به تولید توکنی با لاجیت منفی بی‌نهایت کند.
  • «اعتبارسنجی پاس می‌شود، پس سیستم درست کار می‌کند.» اعتبارسنجی فقط ساختار را بررسی می‌کند؛ نمی‌تواند بفهمد مدل پیش از استدلال به پاسخ commit کرده یا این‌که تاریخ از خودش درآورده است.

کجای دوره آموزش داده می‌شود

در درس خروجی‌های ساختاریافته و رمزگشایی مقید به دام ترتیب فیلدها، گرامر بیش‌ازحد سخت‌گیرانه و برنامه‌ی اعتبارسنجی پرداخته شده است.