سؤال مصاحبه

JSON معتبر، افت دقت و مقصری به نام ترتیب فیلدها

Valid JSON, worse accuracy, and the field order to blame

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک مدل دسته‌بندی از رمزگشایی مقید (Constrained Decoding) با اسکمایی شامل دو فیلد، یعنی اول answer و سپس reasoning استفاده می‌کند. خروجی همیشه یک JSON معتبر است، اما دقت مدل از نسخه‌ی متن‌آزاد (Free-text) کمتر شده است. مشکل کجاست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ترتیب فیلدها. مدل قبل از نوشتن استدلال، پاسخ را نهایی (commit) می‌کند؛ بنابراین توکن‌های استدلال هرگز نقشی در شکل‌گیری پاسخ نهایی ندارند و شما مزیت فکر کردن گام‌به‌گام را از دست می‌دهید. فیلد reasoning را اول و answer را آخر بگذارید؛ اسکما همچنان معتبر می‌ماند و هیچ اعتبارسنجی (Validator) هم خطایی از این تفاوت نمی‌گیرد، چون ترتیب فیلدها مربوط به منطق تولید است، نه قالب‌بندی.

پاسخ کامل

دام اصلی

در درس رمزگشایی مقید، این خطا به عنوان دامی پرهزینه معرفی می‌شود. وقتی answer اول می‌آید، مدل توکنِ تصمیم نهایی را دقیقاً در اولین جایگاهی که گرامر اجازه می‌دهد می‌نویسد؛ استدلالی هم که بعد از آن می‌آید فقط داستانی است برای توجیه تصمیمی که از قبل گرفته شده. اما وقتی reasoning اول باشد، زنجیره‌ی استدلال پیش از تصمیم‌گیری می‌آید و توکنِ تصمیم به آن مشروط می‌شود. هر دو خروجی از نظر ساختار معتبرند، اما فقط یکی از آن‌ها درست است.

مهارت‌های این درس هر طراحی‌ای را که فیلد answer یا decision را قبل از فیلدهای استدلال بگذارد، رد می‌کند.

خطاهای هم‌خانواده

انتخاب در اسکما چه مشکلی پیش می‌آید راه‌حل
الگوی سفت‌وسخت برای مقداری که ممکن است وجود نداشته باشد (مثل تاریخ) مدل برای ارضای گرامر، یک مقدار از خودش می‌سازد اجازه‌ی مقدار null یا یک مقدار نشانگر (sentinel)
اختیاری گذاشتن فیلدی مهم مدل در شرایط نامساعد آن را جا می‌اندازد اجباری کردن فیلد و مجاز شمردن null، تا نبودِ مقدار صریح باشد
تو در تو کردن ساختار تا 4 سطح یا بیشتر هر سطحِ اضافه، یک نقطه‌ی جدید برای از دست رفتن ساختار است تخت کردن ساختار (Flatten)
نوع شمارشی (enum) با هزاران گزینه گرامر بسیار کند کامپایل می‌شود یا زمان اجرای آن به پایان می‌رسد (timeout) اول پیش‌بینی یک فهرست کوتاه از گزینه‌ها و سپس مقید کردن مدل به همان فهرست

چرا خروجی بدون قید بهتر عمل کرد؟

پاسخِ متن‌آزاد ذاتاً تمایل دارد قبل از نتیجه‌گیری توضیح بدهد؛ بنابراین این زنجیره را به‌طور تصادفی رعایت می‌کرد. اسکمای مقید این زنجیره را حذف کرد. راه‌حل این است که زنجیره را عمداً برگردانید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا هیچ اعتبارسنجی نمی‌تواند متوجه این مشکل شود؟ پاسخ مورد انتظار: هر دو ترتیب از نظر اسکما معتبرند؛ مشکل اینجاست که مدل موقع نوشتن توکنِ پاسخ، چه چیزهایی را دیده است.
  • سطح 2: اسکما فرمت مشخصی را برای تاریخ اجباری می‌کند و مدل تاریخ‌هایی می‌سازد که اصلاً در متن نیستند. این کدام خطای مشابه است؟ پاسخ مورد انتظار: گرامرِ بیش از حد سفت‌وسخت برای داده‌های ناقص؛ باید مقدار null یا یک مقدار نشانگر مجاز شود تا مدل داده‌سازی نکند.
  • سطح 3: فیلدی اختیاری است و مدل وقتی که فیلد مهم است آن را جا می‌اندازد. چه تغییری می‌دهید؟ پاسخ مورد انتظار: آن را اجباری کرده و مقدار null را مجاز می‌کنید تا مدل مجبور شود نبودِ مقدار را بیان کند.
  • سطح 3: اسکما تا 4 سطح تو در تو شده و خطاها بالا رفته‌اند. چه می‌کنید؟ پاسخ مورد انتظار: ساختار را تخت می‌کنید؛ چون هر سطحِ اضافه، یک نقطه‌ی جدید برای گم کردن رشته‌ی کار در ساختار است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «رمزگشایی مقید خروجی درست را تضمین می‌کند.» خیر، این روش قالب خروجی را تضمین می‌کند؛ این درس نشان می‌دهد که چطور می‌توان JSON معتبر با پاسخ کاملاً غلط داشت.
  • «ترتیب فیلدها در JSON اهمیتی ندارد.» برای پارسر JSON اهمیتی ندارد؛ اما برای مدلی که فیلدها را به ترتیب می‌نویسد، مهم است.
  • «بررسی دیگری اضافه کنید تا مطمئن شوید استدلال از پاسخ پشتیبانی می‌کند.» این کار ارزیابی (eval) است، نه راه‌حل اصلاحی؛ راه‌حل این است که استدلال اول تولید شود.

کجای دوره آموزش داده می‌شود

در درس رمزگشایی مقید به دام ترتیب فیلدها و گرامر سفت‌وسخت پرداخته شده، و در درس خروجی‌های ساختاریافته (Structured Outputs) عمق ساختار تو در تو و فیلدهای اختیاری بررسی شده است.