سؤال مصاحبه

سه حالتی که فراخوانی خروجی ساختاریافته در آن‌ها با شکست مواجه می‌شود

The three ways a structured output call fails

  • سطح ۲: میانی
  • مفهومی
  • ۷ دقیقه

یک سرویس استخراج داده، ایمیل‌های سفارش خرید را به رکوردهای تایپ‌شده تبدیل می‌کند. حالت‌های شکست (failure modes) یک فراخوانی خروجی ساختاریافته (Structured Output) را نام ببرید، مشخص کنید کدام‌یک از آن‌ها با اعمال سخت‌گیرانه‌ی اسکیما (Strict Mode) برطرف می‌شوند و توضیح دهید که کد باید با موارد باقی‌مانده چگونه برخورد کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه حالت شکست وجود دارد: خطای تجزیه (Parse Error) که در آن خروجی اصلاً JSON نیست؛ نقض اسکیما (Schema Violation) که خروجی تجزیه می‌شود اما با یک نوع داده، فیلد اجباری، enum یا بازه‌ی مجاز مغایرت دارد؛ و امتناع مدل (Refusal) که در آن مدل تشخیص می‌دهد ورودی با اسکیما همخوانی ندارد. اعمال سخت‌گیرانه، دو مورد اول را ذاتاً برای پاسخی که کامل تولید شده باشد از بین می‌برد. امتناع مدل باقی می‌ماند و باید نتیجه‌ای تایپ‌شده باشد که کد آن را لاگ کند و برگرداند، نه این‌که دوباره تلاش کند. پاسخی که به دلیل محدودیت توکن (token) کوتاه شده باشد، همچنان ممکن است در تجزیه خطا بدهد؛ بنابراین پیش از خواندن خروجی، علت توقف (stop reason) را بررسی کنید.

پاسخ کامل

سه رویکرد، سه الگوی شکست

  1. درخواست JSON از طریق پرامپت (Prompt). روی یک مدل پیشرو (Frontier Model) بین 85 تا 95 درصد مواقع درست کار می‌کند. در شش حالت شکست می‌خورد: جا افتادن آکولاد، کامای اضافه در انتها، نوع داده‌ی اشتباه، فیلدهای ساختگی، کوتاه‌سازی (Truncation) به دلیل محدودیت توکن، و نشت متن‌های اضافی مانند «این هم JSON شما».
  2. اعتبارسنجی پس از تولید. متن آزادانه تولید می‌شود، سپس آن را تجزیه و با اسکیما اعتبارسنجی می‌کنید و در صورت شکست، خطا را به پرامپت تزریق کرده و دوباره تلاش می‌کنید. قابل اعتماد است اما هزینه‌ی هر تلاش مجدد پای خودتان است.
  3. رمزگشایی مقید (Constrained Decoding). ارائه‌دهنده توکن‌های نامعتبر را در زمان رمزگشایی (decode) ماسک می‌کند؛ در نتیجه، پاسخی که کامل شود ذاتاً تجزیه‌پذیر و معتبر است. خطای سمت مدل تنها به یک حالت تقلیل می‌یابد: امتناع مدل. البته پاسخی که به دلیل محدودیت توکن نصفه بماند و همچنین خطاهای درخواست، همچنان مسیر مدیریت خطای اختصاصی خود را می‌خواهند.

حلقه‌ی تلاش مجدد، وقتی خارج از حالت سخت‌گیرانه هستید

generate -> parse -> validate -> if fail, inject the error and retry, at most 3 times

معمولاً یک بار تلاش مجدد کافی است. سه بار تلاش برای مهار رفتارهای پیش‌بینی‌ناپذیر مدل‌های ضعیف‌تر جواب می‌دهد. بیشتر از سه بار یعنی اسکیما یا پرامپت برای برخی ورودی‌ها ایراد دارد و راه‌حل اصلاح آن‌هاست، نه تلاش چهارم. بخش اعتبارسنجی باید لیستی از خطاهای تایپ‌شده (typed error) شامل مسیر و پیام خطا برای هر مورد برگرداند؛ چون پرامپت تلاش مجدد دقیقاً به چنین ساختاری نیاز دارد.

شاخه‌ی امتناع (refusal branch)

مدل به این دلیل امتناع می‌کند که ورودی با اسکیما همخوانی ندارد—مثلاً ایمیل دریافتی یک شعر است نه سفارش خرید—یا پای مسائل ایمنی در میان است. پیام امتناع دلیل را هم همراه دارد. آن را لاگ کنید، به صورت یک خروجی تایپ‌شده برگردانید و دوباره تلاش نکنید. در ادامه، این درس از امتناع‌ها به عنوان یک سیگنال ایمنی در مراحل بعدی هم استفاده می‌کند.

یک تنظیم مهم در اسکیما

گزینه‌ی additionalProperties: false تعریف فیلدهایی را که در اسکیما نیامده‌اند ممنوع می‌کند؛ حالت سخت‌گیرانه از همین طریق جلوی فیلدهای ساختگی را می‌گیرد. حالت سخت‌گیرانه این گزینه را در تمام بخش‌های اسکیما الزامی می‌داند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چند بار باید تلاش مجدد کرد، و نیاز به تلاش‌های بیشتر نشانه‌ی چیست؟ پاسخ مورد انتظار: حداکثر سه بار؛ یک بار معمولاً کافی است، و بالاتر از سه بار یعنی اسکیما یا پرامپت برای برخی ورودی‌ها اشتباه است.
  • سطح 2: چرا در branch امتناع نباید دوباره تلاش کرد؟ پاسخ مورد انتظار: مدل بنا به دلیلی امتناع کرده که معمولاً عدم تطابق ورودی یا مسائل ایمنی است؛ تلاش مجدد فقط هزینه می‌تراشد و ممکن است یک استخراج اشتباه را تحمیل کند (push کند).
  • سطح 3: پرامپتِ تلاش مجدد چه چیزی از اعتبارسنج نیاز دارد؟ پاسخ مورد انتظار: فهرستی از خطاهای تایپ‌شده که برای هر شکست مسیر و پیام مشخصی داشته باشد تا مدل بداند کدام فیلد را باید اصلاح کند.
  • سطح 3: کدام تنظیم در اسکیما جلوی فیلدهای ساختگی را می‌گیرد؟ پاسخ مورد انتظار: تنظیم additional properties روی مقدار false، که حالت سخت‌گیرانه آن را در همه‌جا الزامی می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتناع مدل یک فراخوانی شکست‌خورده است، باید دوباره تلاش کرد.» خیر، امتناع یک خروجی درجه‌یک است که دلیل به آن ضمیمه شده؛ باید آن را لاگ کنید و به صورت تایپ‌شده برگردانید.
  • «حالت سخت‌گیرانه همه‌ی شکست‌ها را برطرف می‌کند.» این حالت تنها خطاهای تجزیه و نقض اسکیما را در پاسخی که کامل شده باشد حذف می‌کند؛ امتناع‌ها، پاسخ‌های ناقص و مقادیر اشتباه با نوع داده‌ی درست همچنان باقی می‌مانند.
  • «آن‌قدر تلاش مجدد کنید تا خروجی تأیید شود.» بعد از سه بار تلاش، هزینه‌ها بی‌دلیل بالا می‌رود در حالی که مشکل اصلی از خود اسکیما است.

کجای دوره آموزش داده می‌شود

درس structured output به معرفی سه حالت شکست، الگوی تلاش مجدد و branch امتناع می‌پردازد، و درس structured outputs فرآیند اعتبارسنجی با بازخورد خطا را پوشش می‌دهد.