سؤال مصاحبه

ابزار صریح finish یا توقف با نبود فراخوانی ابزار

Explicit finish tool or no-tool-call stop

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

دو مهندس سرِ نحوه‌ی پایان یافتن حلقه با هم اختلاف‌نظر دارند. یکی ابزار صریح finish را ترجیح می‌دهد که مدل ملزم به فراخوانی آن باشد. دیگری می‌خواهد حلقه به محض این‌که در یک نوبتِ گفت‌وگو (Turn) هیچ فراخوانی ابزاری (Tool call) وجود نداشت، متوقف شود. شما کدام را انتخاب می‌کنید، و هر کدام چه نقصی دارند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر دو در واقع شرط توقف (Stop Condition) هستند و یک حلقه‌ی عملیاتی به هر دوی آن‌ها به‌علاوه‌ی یک سهمیه نیاز دارد. توقف با نبود فراخوانی ابزار ساده است و با رفتار مدل‌ها همخوانی دارد، اما اجرای برنامه را در هر نوبتی که مدل پاسخی متنی بدهد متوقف می‌کند؛ حتی نوبتی که صرفاً قصد داشته بلندبلند فکر کند. ابزار صریح finish یک سیگنال واضح همراه با داده (Payload) ارسال می‌کند، اما اگر مدلی هرگز آن را فراخوانی نکند، اجرا تا پایان سهمیه ادامه می‌یابد. توقف با نبود فراخوانی ابزار را به عنوان پیش‌فرض در نظر بگیرید، finish را ابزاری برای ارسال پاسخ نهایی نگه دارید، و سهمیه‌ی نوبت‌ها (Turn Budget) را آخرین لایه‌ی محافظتی قرار دهید.

پاسخ کامل

هر رویکرد چه مزیتی دارد؟

شرط توقف نقطه‌ی قوت نقطه‌ی ضعف
ابزار صریح finish پایان کار یک فراخوانی ساختاریافته است که پاسخ را در قالب داده‌ی خود دارد، بنابراین فراخواننده هیچ‌وقت مجبور نیست حدس بزند کدام بخش از متن پاسخ اصلی است مدلی که فراخوانی آن را فراموش کند، یا به آن گفته شده باشد این کار را نکند، هرگز خودش متوقف نمی‌شود
نبود فراخوانی ابزار در نوبت گفت‌وگو به ابزار اضافی نیاز ندارد و با مدلی که پس از پایان کار پاسخش را می‌دهد همخوانی دارد یک نوبت متن ساده در میانه‌ی وظیفه (Task)، اجرا را زودتر از موعد و با پاسخی ناقص متوقف می‌کند

توقف زودهنگام: خطر واقعی

درس این پرسش را مطرح می‌کند که کدام گزینه در برابر باگ‌های توقف زودهنگام امن‌تر است. توقف با نبود فراخوانی ابزار، اجرای حلقه را در اولین نوبت متنی متوقف می‌کند. مدلی که قبل از اقدام برنامه‌ریزی می‌کند، یا بدون فراخوانی بعدی درباره‌ی یک مشاهده (Observation) نظر می‌دهد، حلقه را خیلی زود به پایان می‌رساند. اما ابزار صریح finish به‌طور تصادفی زودهنگام تمام نمی‌شود، چون پایان کار به یک فراخوانی عمدی نیاز دارد.

چرا به هر حال به سهمیه نیاز دارید؟

وقتی مدل وارد حلقه می‌شود، هیچ‌کدام از این دو شرط کمکی نمی‌کنند. مدلی که مدام تلاش‌هایش را تکرار می‌کند، ابزار finish را صدا نمی‌زند. توقف با نبود فراخوانی ابزار هم وقتی در هر نوبت فراخوانی وجود داشته باشد، هرگز فعال نمی‌شود. سهمیه‌ی نوبت‌ها تنها شرط توقفی است که به خروجی مدل وابستگی ندارد. در قرارداد بستر آزمایشی (Harness)، سهمیه کنترل را به فراخواننده واگذار می‌کند (yield) و این فراخواننده است که درباره‌ی ادامه‌ی کار تصمیم می‌گیرد.

یک ساختار کاربردی

  1. ابزار finish را ثبت کنید؛ به‌طوری که آرگومان آن، پاسخ نهایی باشد.
  2. نوبت بدون فراخوانی ابزار را توقفی با علت no_tool_call در نظر بگیرید و متن مدل را پیش‌نویس پاسخ برگردانید، نه پاسخ نهایی.
  3. برای هر دسته از وظایف سقف نوبت بگذارید و با رسیدن به سقف، کنترل را واگذار کنید.
  4. شرط توقفی را که فعال شده در نتیجه ثبت کنید تا فراخواننده و سیستم ارزیابی (Eval) بتوانند آن‌ها را از هم تشخیص دهند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مدل در یک نوبت هم متن برمی‌گرداند و هم ابزار فراخوانی می‌کند. کدام شرط توقف اعمال می‌شود؟ پاسخ مورد انتظار: هیچ‌کدام؛ چون نوبت حاوی فراخوانی ابزار است، حلقه آن را اجرا می‌کند و ادامه می‌دهد.
  • سطح 3: چرا نتیجه باید نام شرط توقفی را که فعال شده داشته باشد؟ پاسخ مورد انتظار: سیستم ارزیابی اگر توقف با نبود فراخوانی ابزار را موفقیت در نظر بگیرد، به توقف زودهنگام پاداش می‌دهد؛ بنابراین دلیل توقف باید برای ارزیاب مشخص باشد.
  • سطح 3: اکنون استدلال (Reasoning) در کانالی جداگانه ارسال می‌شود. آیا این تغییری در توقف با نبود فراخوانی ابزار ایجاد می‌کند؟ پاسخ مورد انتظار: بله، نوبتی که حاوی محتوای استدلال است ولی متن مرئی یا فراخوانی ابزار ندارد نباید پاسخ به حساب بیاید؛ پس بررسی باید خروجی مرئی را ملاک قرار دهد.
  • سطح 4: چطور توقف زودهنگام را در مجموعه‌ای از وظایف اندازه می‌گیرید؟ پاسخ مورد انتظار: دلیل توقف را با گِیتی که دستورات پذیرش (Acceptance Commands) را بررسی می‌کند بسنجید، و اجراهایی را بشمارید که بدون فراخوانی ابزار متوقف شده‌اند در حالی که دستورات پذیرش هرگز اجرا نشده‌اند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «فقط از ابزار finish استفاده کنید، چون صریح است.» مدلی که هرگز آن را فراخوانی نکند، در هر وظیفه‌ای که نتواند تمامش کند تا سقف سهمیه پیش می‌رود.
  • «فقط از توقف با نبود فراخوانی ابزار استفاده کنید، چون مدل خودش می‌داند کِی کارش تمام شده است.» مدلی که مکث کند تا با متن ساده فکر کند، اجرا را در حالی که نیمی از کار مانده می‌بندد.
  • «سهمیه به‌تنهایی کافی است.» سهمیه فقط لایه‌ی محافظتی برای حلقه‌ای است که همگرا نمی‌شود؛ اجرایی که معطل پر شدن سهمیه بماند، همه‌ی نوبت‌های پس از پایان واقعی کار را هدر می‌دهد.

کجای دوره آموزش داده می‌شود

در درس حلقه‌ی ایجنت هر دو شرط توقف معرفی شده و درباره‌ی امنیت بیشتر هر کدام سؤال می‌شود، و در قرارداد حلقه‌ی بستر آزمایشی سهمیه به یک ساختار yield تبدیل می‌شود.