سؤال مصاحبه

این ایجنت در یک حلقه‌ی بی‌پایان گیر افتاده است؛ علت را پیدا کنید

This agent loops forever, find out why

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۱۰ دقیقه

مهندس نوبت پاسخگویی (آنکال) به شما پیام هشدار می‌دهد. یک ایجنت کدنویسی روی وظیفه‌ای که معمولاً 10 دقیقه طول می‌کشد، دو ساعت تمام در حال اجرا بوده است. ردگیری محاسبات (Trace) یک دستور شل، یک نتیجه، و سپس همان دستور را بارها و بارها پشت سر هم نشان می‌دهد. گام‌های خود را برای پیدا کردن علت و تغییراتی که اعمال می‌کنید تا این اتفاق دیگر تکرار نشود، شرح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ردگیری محاسبات را بخوانید تا جفت کنش و مشاهده‌ای (Observation) را که تکرار می‌شود پیدا کنید، سپس ببینید چرا مدل به این مشاهده واکنشی نشان نمی‌دهد. دلایل رایج عبارتند از: خطایی که حلقه‌ی ایجنت (Agent loop) هرگز به مدل نشان نمی‌دهد، مشاهده‌ای که در تمام نوبت‌های گفت‌وگو (Turn) متنی کاملاً یکسان دارد، و نبود سهمیه‌ی نوبت‌ها (Turn budget). علت اصلی را برطرف کنید، سپس دو سازوکار محافظتی اضافه کنید که جلوی هرگونه حلقه‌ی بی‌پایان در آینده را می‌گیرد: سهمیه‌ای که کنترل را به فراخواننده تحویل می‌دهد، و بررسی تکرار هم‌زمان یک کنش با یک مشاهده.

پاسخ کامل

یافتن علت

  1. جفت تکراری را پیدا کنید. 20 نوبت گفت‌وگوی آخر را بررسی کنید و هر کنش را با کنشِ قبلی بسنجید. یک حلقه زمانی شکل می‌گیرد که یک کنش به‌همراه مشاهده‌ی آن تکرار شود، بدون اینکه بافر پیام‌ها در این میان تغییری کرده باشد.
  2. بررسی کنید مدل چه چیزی دیده است. اگر ابزار خطایی داده و اجراکننده (Runner) خطا را بیرون از حلقه‌ی ایجنت گرفته باشد، مدل هرگز مشاهده‌ای دریافت نکرده است. در نتیجه مدل تنها کاری را انجام می‌دهد که بلد است: همان فراخوانی ابزار قبلی. قاعده‌ی این درس این است که هر خطایی، حتی خطای 400 از یک سرویس، باید در قالب یک رشته‌ی مشاهده به مدل بازگردانده شود.
  3. بررسی کنید آیا مشاهده حاوی اطلاعات هست یا نه. مشاهده‌ای مانند ok پس از عملیات نوشتنی که عملاً کاری انجام نداده، یا ابزار اجرای تستی که هنگام شکست هیچ متنی چاپ نمی‌کند، دلیلی به مدل نمی‌دهد تا نقشه‌اش را عوض کند. فرمت‌کننده‌ی مشاهده باید حتماً کد خروج (Exit code) و بخش انتهایی خروجی را در خود داشته باشد.
  4. شرط‌های توقف (Stop conditions) را بررسی کنید. حلقه‌ای که فقط با فراخوانی صریح اتمام کار پایان می‌یابد، اگر مدل هرگز اتمام کار را اعلام نکند، تا زمان پر شدن زمینه (Context) اجرا خواهد شد. حلقه‌ای هم که سهمیه‌ی نوبت‌ها را نداشته باشد، تا زمانی که صدای پیجر شما دربیاید به کارش ادامه می‌دهد.

اصلاح ساختار برای جلوگیری از تکرار حلقه

  • سهمیه‌ی نوبت‌ها به تفکیک رده‌ی وظیفه. ایجنت‌ها برای هر وظیفه بین 40 تا 400 مرحله اجرا می‌شوند؛ بنابراین سقف مجاز را متناسب با رده‌ی وظیفه تعیین کنید، نه یک سقف ثابت برای همه‌ی وظایف. در قرارداد بستر آزمایشی (Harness)، این سهمیه یک سوییچ قطع اضطراری (Kill switch) نیست. با رسیدن به حد مجاز، حلقه‌ی ایجنت on_budget_exceeded را فعال می‌کند، رویداد budget.warn را می‌فرستد و کنترل را به فراخواننده تحویل می‌دهد. سپس فراخواننده می‌تواند سهمیه را تمدید کند یا نشست (Session) را ببندد.
  • تشخیص‌دهنده‌ی تکرار. درس مربوط به حالت‌های دسترسی، دسته‌بندی‌کننده‌ای را توضیح می‌دهد که کنش N+1 را 5 بار پیاپی تقریباً برابر با کنش N ارزیابی می‌کند. برای سناریوهای ساده نیازی به مدل ندارید؛ کافی است از کنش و مشاهده یک هش بسازید، چند هش آخر را نگه دارید، و اگر هشی تکرار شد اجرای کار را متوقف کنید.
  • نمایش خطاها در قالب مشاهده. همه‌ی خطاها را از فرمت‌کننده عبور دهید تا مدل بتواند فراخوانی ابزار را اصلاح کند.
  • توقف در صورت عدم فراخوانی ابزار. اگر در یک نوبت گفت‌وگوی دستیار، هیچ فراخوانی ابزاری وجود نداشت، اجرا را پایان‌یافته تلقی کنید.

اعتبارسنجی اصلاحات

ردگیری محاسباتِ ذخیره‌شده را دوباره در حلقه‌ی اصلاح‌شده بازپخش (Replay) کنید. از آنجا که قرارداد بستر آزمایشی یک ماشین وضعیت (State machine) قطعی است، همان لاگ رویدادها (Event log) بدون نیاز به فراخوانی جدید مدل، وارد همان وضعیت می‌شود. این بازپخش باید در نقطه‌ی تکرار متوقف شود و در جایی که اجرای قبلی به کارش ادامه می‌داد، رویداد مربوط به سهمیه را ارسال کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مدل یک فراخوانی ابزار را تکرار می‌کند چون ابزار هنگام شکست رشته‌ای خالی برمی‌گرداند. اصلاح این مورد وظیفه‌ی چه بخشی است؟ پاسخ مورد انتظار: فرمت‌کننده‌ی مشاهده؛ این بخش باید کد خروج و متن خطا را به خروجی اضافه کند تا هنگام شکست فراخوانی، مشاهده‌ی دریافتی تغییر کند.
  • سطح 3: چرا بستر آزمایشی هنگام اتمام سهمیه، کنترل را به فراخواننده تحویل می‌دهد (Yield) اما خطا صادر نمی‌کند؟ پاسخ مورد انتظار: تحویل کنترل یک مقدار بازگشتی است که فراخواننده می‌تواند آن را بررسی کند و کار را ادامه دهد، در حالی که پرتاب خطا وضعیت میانی را از بین می‌برد و فراخواننده را ناچار به اجرای مجدد از ابتدا می‌کند.
  • سطح 3: یک تشخیص‌دهنده‌ی تکرار فقط کنش را هش می‌کند. چه نوع حلقه‌ای از زیر دست آن در می‌رود؟ پاسخ مورد انتظار: حلقه‌ای که در آن کنش هر بار اندکی تغییر می‌کند (مانند یک شمارنده در آرگومان‌ها) در حالی که مشاهده هیچ‌وقت تغییر نمی‌کند؛ بنابراین باید مشاهده را هم هش کرد.
  • سطح 4: حلقه برطرف شده است، اما ایجنت همچنان دو ساعت تمام اجرا شده تا بالاخره کسی متوجه شود. چه سطحی در سیستم جا افتاده است؟ پاسخ مورد انتظار: مشاهده‌پذیری (Observability)، سهمیه‌ی زمان واقعی (Wall-clock) همراه با هشدار، و ردگیری محاسباتی که بشود در گام 38 آن را خواند بدون اینکه نیاز به بررسی کل لاگ اجرا باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سقف تعداد نوبت‌های گفت‌وگو را بالا ببرید تا وظیفه تمام شود.» این وظیفه هیچ پیشرفتی نداشته است، بنابراین اضافه کردن نوبت‌ها فقط همان فراخوانی تکراری را تحویل می‌دهد.
  • «یک خط به پرامپت اضافه کنید که بگوید کارهای تکراری نکن.» مدل به این دلیل تکرار می‌کرد که اصلاً خطا را ندیده بود، و پرامپت نمی‌تواند چیزی را به مدل نشان دهد که حلقه‌ی ایجنت از دید آن پنهان کرده است.
  • «وقتی سهمیه تمام شد، فرایند (Process) را متوقف و نابود کنید (Kill).» نابود کردن فرایند، وضعیت میانی را از بین می‌برد، در حالی که تحویل دادن کنترل به فراخواننده اجازه می‌دهد وضعیت را بررسی کند، سهمیه را افزایش دهد، یا با یک تحویل وظیفه‌ی (Handoff) تمیز، نشست را ببندد.

کجای دوره آموزش داده می‌شود

در درس حلقه‌ی ایجنت سهمیه‌ی نوبت‌ها و فرمت‌کننده‌ی مشاهده‌ها معرفی شده‌اند، در قرارداد حلقه‌ی بستر آزمایشی تبدیل سهمیه به تحویل کنترل توضیح داده شده است، و در درس حالت‌های دسترسی دسته‌بندی‌کننده‌ی کنش‌های تکراری بررسی شده است.