سؤال مصاحبه

تعیین سقف نوبت یکسان برای همه‌ی وظایف: چه عددی پیشنهاد می‌کنید؟

One turn cap for every task, what number do you give

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

تیم محصول از شما یک سقف واحد برای حداکثر تعداد نوبت‌های گفت‌وگو (Turns) می‌خواهد که روی تمام اجراهای ایجنت اعمال شود؛ آن هم ایجنتی که هم ویرایش‌های یک‌خطی انجام می‌دهد، هم بازآفرینی کدهای چندفایلی (Multi-file refactor)، و هم ساعت‌ها بدون نظارت هدایت یک کامپیوتر را به دست می‌گیرد. چه عددی به آن‌ها پیشنهاد می‌دهید و چطور از انتخابتان دفاع می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هیچ عدد واحدی وجود ندارد، و با یک برآورد ساده دلیلش مشخص می‌شود. ایجنت‌ها معمولاً برای هر وظیفه بین 40 تا 400 گام برمی‌دارند و در وظایف کار با کامپیوتر (Computer use)، پیمودن ده‌ها تا صدها گام کاملاً طبیعی است. سقفی که برای یک ویرایش یک‌خطی مناسب باشد، جلوی تمام بازآفرینی‌های کد را می‌گیرد؛ سقفی هم که پاسخگوی اجرای بدون نظارت باشد، به یک ویرایشِ به بن‌بست خورده اجازه می‌دهد صدها نوبت بسوزاند. برای هر دسته‌بندی از وظایف (Task class) یک سقف جداگانه تعیین کنید، هر سقف را بر اساس توزیع داده‌های ردگیری محاسبات (Traces) در اجراهای موفق آن دسته تنظیم کنید، و در کنار هر سقف، یک بودجه‌ی زمان واقعی (Wall-clock) و یک سقف هزینه نیز در نظر بگیرید.

پاسخ کامل

چرا یک عدد واحد پاسخگو نیست؟

دسته‌بندی وظیفه طول طبیعی پیامد اعمال یک سقف مشترک
ویرایش یک‌خطی چند نوبت انگشت‌شمار اگر سقف بالا باشد، اجرای به بن‌بست خورده صدها نوبت می‌سوزاند، پیش از آنکه کسی متوجه شود
بازآفرینی چندفایلی کد ده‌ها نوبت اگر سقف پایین باشد، اجرا با تغییرِ تنها نیمی از فایل‌ها متوقف می‌شود
کار با کامپیوتر بدون نظارت ده‌ها تا صدها گام اگر سقف پایین باشد، این حالت عملاً غیرقابل‌استفاده می‌شود

قاعده‌ای که در این درس یاد می‌گیریم این است: سقفی متناسب با دسته‌بندی وظیفه انتخاب کنید، نه یک اندازه برای همه.

نحوه‌ی تعیین هر سقف

  1. داده‌های ردگیری محاسبات مربوط به آن دسته‌بندی را استخراج کنید و تعداد نوبت‌های اجراهایی را که آزمون‌های کیفی را با موفقیت گذرانده‌اند بررسی کنید.
  2. سقف را کمی بالاتر از طولانی‌ترین اجرای موفق (با در نظر گرفتن یک حاشیه‌ی اطمینان) و پایین‌تر از نقطه‌ای قرار دهید که ردگیری‌ها نشان‌دهنده‌ی اقدامات تکراری هستند.
  3. با رسیدن به سقف، کار را واگذار کنید (Yield)، نه اینکه آن را بکشید (Kill). وقتی حلقه‌ی ایجنت (Agent loop) به سقف رسید، فراخواننده وضعیت پیشرفت ناقص را می‌بیند و درباره‌ی تمدید آن تصمیم می‌گیرد.
  4. با تغییر الگوی ردگیری‌ها، سقف‌ها را بازبینی کنید. ارائه‌ی یک مدل جدید یا یک ابزار تازه، توزیع داده‌ها را تغییر می‌دهد.

دو بودجه‌ی مکمل دیگر

تکیه بر سقف نوبت به‌تنهایی، دو شکل از خرابی را نادیده می‌گیرد: یک اجرا ممکن است نوبت‌های اندکی مصرف کند اما به خاطر انتظار برای ابزارهای کُند، زمان واقعی زیادی بسوزاند؛ یا نوبت‌های کمی صرف کند ولی به دلیل زمینه‌های طولانی روی مدلی گران‌قیمت، هزینه‌ی مالی سنگینی روی دستتان بگذارد. حالت خودکار و بدون نظارتی که در این درس پیاده شده است، شامل یک سقف نوبت، یک سقف دلاری برای متوقف کردن نشست (Session)، و محدودیت تعداد اقدامات برای هر ابزار است. یک اجرای بدون نظارت 24 ساعته به هر سه مورد به‌همراه یک فهرست مجاز (Allowlist) نیاز دارد، و برای تک‌تک این اعداد باید دلیل مکتوب داشته باشید.

چه پاسخی به تیم محصول بدهیم؟

به جای یک عدد، به آن‌ها یک جدول بدهید: یک ردیف برای هر دسته‌بندی وظیفه شامل سقف نوبت، بودجه‌ی زمان واقعی، سقف هزینه، محدودیت‌های مختص هر ابزار، و داده‌های ردگیری محاسباتی که هر ردیف از آن‌ها استخراج شده است. برای وظایفی که در هیچ دسته‌ای جا نمی‌گیرند یک مقدار پیش‌فرضِ پایین تعیین کنید، تا وظیفه‌ی ناشناخته خیلی زود روند کار را متوقف و واگذار کند و یک انسان درباره‌ی ادامه‌ی آن تصمیم بگیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر کاری رو به اتمام باشد اما اجرا به سقف نوبت برسد چه رخ می‌دهد؟ پاسخ مورد انتظار: حلقه با ذکر دلیل «اتمام بودجه» روند را واگذار می‌کند، فراخواننده وضعیت نیمه‌کاره را بررسی کرده و سپس بودجه را تمدید می‌کند یا نشست را با تحویل وظیفه (Handoff) می‌بندد.
  • سطح 2: چرا سقفِ طرح پشتیبان (Fallback) برای وظیفه‌ی بدون دسته‌بندی باید پایین باشد؟ پاسخ مورد انتظار: وظیفه‌ی ناشناخته بیش از بقیه مستعد افتادن در حلقه‌ی تکرار است؛ واگذاری زودهنگام تنها یک تصمیم‌گیری انسانی هزینه دارد، اما واگذاری دیرهنگام ساعت‌ها زمان تلف می‌کند.
  • سطح 3: چطور پیش از رسیدن به سقف، اجرای طولانی را از اجرای گیرکرده تشخیص می‌دهید؟ پاسخ مورد انتظار: به کمک یک شناساگر تکرار روی هَش اقدامات و مشاهدات (Observations)؛ به این ترتیب که اگر پنج اقدام تقریباً یکسان پشت سر هم رخ داد، اجرا زودتر متوقف شود.
  • سطح 3: ردگیری‌های یک دسته‌بندی، دو خوشه‌ی متمایز از تعداد نوبت‌ها را نشان می‌دهند؛ این وضعیت چه معنایی دارد؟ پاسخ مورد انتظار: آن دسته در واقع دو دسته‌بندی مجزاست و هر کدام به سقف خاص خود نیاز دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سقف را بالا می‌گذاریم تا جلوی هیچ وظیفه‌ی درستی گرفته نشود.» سقف بالا برای دسته‌ای از وظایف کوتاه، باعث می‌شود اجرای به بن‌بست خورده صدها نوبت بسوزاند؛ در حالی که هدف اصلی تعیین سقف، به دام انداختن همین اجراهای گیرکرده است.
  • «سقف را پایین می‌گذاریم و به کاربر می‌گوییم دوباره تلاش کند.» سقف پایین برای بازآفرینی کد، باعث می‌شود کار همیشه با وظیفه‌ی نیمه‌کاره پایان یابد و تلاش مجدد همه‌چیز را از صفر شروع می‌کند.
  • «سقف نوبت کافی است، چون عامل اصلی هزینه همان نوبت‌ها هستند.» نوبت فقط یک محور از متغیرهاست؛ یک اجرا می‌تواند با نوبت‌های کم، زمان زیادی طول بکشد یا از نظر مصرف توکن، پرهزینه باشد.

کجای دوره آموزش داده می‌شود

در درس حلقه‌ی ایجنت سقف‌ها به تفکیک دسته‌بندی وظایف تنظیم می‌شوند، و در درس حالت‌های دسترسی این سقف در کنار سقف هزینه و محدودیت‌های مختص هر ابزار قرار می‌گیرد.