سؤال مصاحبه

توضیحات ابزار تعیین می‌کند کدام ابزار فراخوانی شود

Tool descriptions decide which tool gets called

  • سطح ۲: میانی
  • مفهومی
  • ۷ دقیقه

ایجنتی (Agent) 8 ابزار در اختیار دارد و مدام ابزار اشتباه را صدا می‌زند. توضیحات ابزارها هر کدام در حد یک یا دو کلمه است، مثلاً «gets weather». کار این توضیحات چیست و چطور باید آن‌ها را بازنویسی کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدل با خواندن توضیحات تصمیم می‌گیرد چه زمانی و چگونه ابزار را صدا بزند؛ بنابراین، توضیحات ابزار در واقع یک پرامپت (Prompt) برای انتخاب ابزار (Tool Choice) است. آن را به‌شکل یک جمله‌ی کامل بازنویسی کنید که بگوید ابزار چه کاری انجام می‌دهد و چه چیزی برمی‌گرداند؛ مثلاً این‌که وضعیت آب‌وهوای فعلی یک شهر را می‌گیرد و دما را به سانتی‌گراد همراه با وضعیت جوی برمی‌گرداند. همچنین تک‌تک پارامترها را با یک مقدار نمونه و در صورت محدود بودن گزینه‌ها با مقادیر شمارشی (Enum) توضیح دهید. در نهایت، پیش از اجرای هر چیزی، ورودی‌ها را با اسکیمای JSON (JSON Schema) اعتبارسنجی کنید.

پاسخ کامل

مدل چه چیزی را می‌بیند

تعریف ابزار (Tool Definition) قراردادی بر پایه‌ی اسکیمای JSON است: یک نام، توضیحات، و پارامترها به‌همراه نوع داده، توضیحات اختصاصی هر پارامتر و فهرست پارامترهای اجباری. مدل هرگز کد شما را نمی‌بیند. انتخاب ابزار و مقداردهی آرگومان‌ها فقط بر اساس همین متن انجام می‌شود؛ پس توضیحات مبهم انتخاب‌های ضعیف‌تری نسبت به توضیحات دقیق به بار می‌آورد، و پارامتری که مقدار نمونه دارد (مثلاً نام یک شهر) بسیار مطمئن‌تر از یک رشته‌ی متنی خام پر می‌شود.

فراتر از توضیحات ابزار

  • انتخاب ابزار (Tool Choice): حالت Auto تصمیم‌گیری را به مدل می‌سپارد. حالت Required مدل را ملزم به حداقل یک فراخوانی می‌کند؛ این کار مانع از حدس زدن مدل می‌شود، به‌ویژه وقتی می‌دانید که جستجوی داده لازم است. تعیین نام یک ابزار خاص هم فراخوانیِ همان ابزار را اجباری می‌کند؛ این حالت برای مسیریابی (Routing) زمانی کاربرد دارد که منطق بالادستی برنامه از قبل ابزار مورد نیاز را می‌داند.
  • فراخوانی‌های موازی (Parallel Calls): اگر در یک پرسش نام دو شهر بیاید، ممکن است خروجی مدل در یک نوبت گفت‌وگو (Turn) دو فراخوانی هم‌زمان باشد؛ هر دو را اجرا کنید و هر دو نتیجه را برگردانید.
  • خطاهای ساختاریافته (Structured Errors): شکست‌ها را در قالب نتیجه‌ای شامل پیام خطا، کد خطا و پیشنهادها برگردانید؛ مثلاً پیدا نشدن نام شهر همراه با نزدیک‌ترین نام‌های مشابه. مدل‌ها خود را با خطاهای ساختاریافته اصلاح می‌کنند، نه با خطاهای خالی یا پیام‌های عمومی.
  • سقف مجاز فراخوانی (Call Budget): حداکثر 10 تا 20 فراخوانی برای هر گفت‌وگو تعیین کنید تا جلوی افتادن در حلقه‌های بی‌پایان گرفته شود.

سنجش عملکرد

مجموعه‌ای از پرسمان‌ها (Queries) را همراه با ابزار مورد انتظار برای هر کدام آماده کنید؛ در تمرین این درس از 30 مورد استفاده شده است. فرایند انتخاب ابزار را اجرا کنید، درصدی را که ابزار درست انتخاب شده گزارش دهید و جفت‌ابزارهایی را که با هم اشتباه گرفته می‌شوند فهرست کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: به‌جز خود ابزار، توضیحات در چه بخش دیگری به کار می‌آیند؟ پاسخ مورد انتظار: روی تک‌تک پارامترها، همراه با مقدار نمونه و در صورت محدود بودن گزینه‌ها با Enum، تا آرگومان‌ها درست پر شوند.
  • سطح 2: مدل همچنان به‌جای فراخوانی ابزار در جای لازم، دست به حدس زدن می‌زند. کدام تنظیم این رفتار را تغییر می‌دهد؟ پاسخ مورد انتظار: تنظیم Tool Choice روی Required، یا روی یک ابزار خاص با ذکر نام وقتی منطق بالادستی از قبل ابزار هدف را می‌داند.
  • سطح 3: چطور اثبات می‌کنید که بازنویسی توضیحات نتیجه داده است؟ پاسخ مورد انتظار: مجموعه‌ای از پرسمان‌های آزمایشی به‌همراه نام ابزار مورد انتظار (30 مورد در این درس)، سهم انتخاب‌های درست، و فهرستی از جفت‌ابزارهایی که با هم اشتباه گرفته شده‌اند.
  • سطح 3: یک ابزار با خطا مواجه می‌شود. چه چیزی باید برگرداند تا مدل بتواند وضعیت را اصلاح کند؟ پاسخ مورد انتظار: یک خطای ساختاریافته شامل پیام، کد خطا و پیشنهادها؛ نه یک استثنا (Exception) یا پاسخی خالی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل کاربرد ابزار را از روی نام تابع استنباط می‌کند.» خیر، مدل توضیحات را می‌خواند؛ یک توضیح مبهم نسبت به یک جمله‌ی کامل، انتخاب‌های ضعیف‌تری به بار می‌آورد.
  • «برای اطمینان، هر ابزار را در یک پاراگراف کامل شرح دهید.» تعاریف ابزارها همراه با هر درخواست ارسال می‌شوند؛ هدف، یک جمله‌ی دقیق به‌همراه توضیحات پارامترهاست.
  • «به مدل اجازه دهید هر تابعی را با نامش فراخوانی کند.» قاعده‌ی این درس یک لیست مجاز (Allowlist) از ابزارهای تعریف‌شده‌ی شماست؛ هرگز از یک ابزار عمومی برای اجرای تابع بر اساس نام استفاده نکنید.

کجای دوره آموزش داده می‌شود

درس فراخوانی تابع (Function Calling) قرارداد تعریف ابزار، حالت‌های انتخاب ابزار، خطاهای ساختاریافته و تمرین دقت در انتخاب ابزار را آموزش می‌دهد.