سؤال مصاحبه

بررسی بستر آزمایشی: لغو فراخوانی ابزار وسط برنامه توسط یک هوک

Read the harness, a hook aborts a tool call mid-plan

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۲ دقیقه

این بخش از حلقه‌ی بستر آزمایشی (harness) را بررسی کنید. یک مشترک روی before_tool_call در گام دوم از یک برنامه‌ی 3گامی، به این دلیل که نام ابزار در لیست سیاه (deny list) قرار دارد، خطای HookAbort صادر می‌کند. مسیر ادامه‌ی کار حلقه را ردگیری کنید: چه رویدادهایی منتشر می‌شوند، چه هوک‌هایی اجرا می‌شوند، سیستم وارد چه وضعیتی می‌شود و فراخواننده چه پاسخی می‌گیرد؟

step = self._plan[self._cursor]
self.hooks.fire("before_step", {"step": step})
self._emit("step.start", {"step_id": step.id, "desc": step.description})
if step.requires_tool:
    try:
        self.hooks.fire("before_tool_call", {"step": step})
    except HookAbort as exc:
        step.error = f"hook_abort:{exc}"
        self._emit("tool.error", {"step": step.id, "error": step.error})
        self.hooks.fire("on_error", {"step": step, "error": step.error})
        self._transition(State.REFLECTING)
        return self._step()
    self.budget.tool_calls += 1
    self._emit("tool.call", {"step": step.id, "tool": step.tool_name, "args": step.tool_args})
    self._transition(State.AWAITING_TOOL)
    self._emit("step.end", {"step_id": step.id, "outcome": "awaiting_tool"})
    self.hooks.fire("after_step", {"step": step, "outcome": "awaiting_tool"})
    return PullRequest(reason="tool_call", state=self.state, payload={...})

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

عملیات لغو درون حلقه مدیریت می‌شود و به شکل استثنا به سمت فراخواننده پرتاب نمی‌شود. حلقه خطا را روی گام ثبت می‌کند، رویداد tool.error را منتشر می‌سازد، هوک on_error را فعال می‌کند، به وضعیت بازنگری (reflecting) می‌رود و دوباره خودش را فرا می‌خواند. فاز بازنگری مکان‌نما (cursor) را جلو می‌برد و یک نوبت گفت‌وگو (turn) می‌شمارد؛ بنابراین از گام ردشده صرف‌نظر می‌شود، دوباره تکرار نمی‌شود و حلقه سراغ گام سوم می‌رود. فراخواننده هرگز لغو را در قالب استثنا نمی‌بیند: بلکه یا pull request بعدی را برای فراخوانی ابزارِ گام سوم یا اتمام کار دریافت می‌کند، یا اگر پیش از آن سقف بودجه تمام شده باشد، متوقف شدن فرایند را با دلیل اتمام بودجه می‌بیند. در هر صورت، برای دیدن گام ردشده می‌تواند جریان رویدادها را بررسی کند.

پاسخ کامل

گام‌به‌گام

  1. هوک before_step اجرا و رویداد step.start برای گام دوم منتشر می‌شود.
  2. هوک before_tool_call اجرا می‌شود. مشترک، خطای HookAbort صادر می‌کند.
  3. حلقه عبارت hook_abort:<reason> را درون step.error می‌نویسد.
  4. رویداد tool.error را همراه با شناسه گام و متن خطا منتشر می‌کند.
  5. هوک on_error را به همراه گام و خطا فراخوانی می‌کند.
  6. وضعیت را به REFLECTING تغییر می‌دهد. جدول انتقال وضعیت، جابه‌جایی از اجرای عملیات به بازنگری را مجاز می‌داند.
  7. دوباره متد _step() را صدا می‌زند. در branch بازنگری، مکان‌نما به گام سوم می‌رود و شمارنده‌ی نوبت گفت‌وگو یکی زیاد می‌شود.
  8. گام سوم نیاز به ابزار دارد؛ بنابراین حلقه هوک‌های آن را اجرا می‌کند، یک فراخوانی ابزار می‌شمارد، رویداد tool.call را منتشر می‌کند، به وضعیت AWAITING_TOOL می‌رود، رویداد step.end را منتشر می‌سازد، هوک after_step را فعال می‌کند و یک pull request با دلیل tool_call برمی‌گرداند.

چه اتفاقاتی نیفتاد

  • هیچ رویداد tool.call برای گام دوم منتشر نشد و شمارنده‌ی فراخوانی ابزار هم افزایش نیافت، چون لغو قبل از هر دوی آن‌ها اتفاق افتاد.
  • رویداد step.end و هوک after_step برای گام دوم اجرا نشدند. مسیر لغو، گام را بدون رویداد پایانی به حال خود رها می‌کند. این نکته‌ای است که باید متوجه آن باشید: مشترکی که منتظر جفت شدن step.start با step.end است، گام را باز و ناتمام می‌بیند.
  • تکراری (retry) در کار نیست. طبق قرارداد، سیستم از گام ردشده می‌گذرد و وارد فاز بازنگری می‌شود. سیاست تلاش مجدد باید درون برنامه‌ریز (planner) پیاده‌سازی شود، که می‌تواند از فاز بازنگری برنامه‌ی جدیدی برگرداند.

چرا این معماری؟

هوک‌ها ماهیت دستوری دارند و می‌توانند داده‌ها را دست‌کاری کنند، عملیات را لغو کنند یا از آن بگذرند. در مقابل، رویدادها صرفاً جنبه‌ی مشاهده‌ای دارند و وقایع را ثبت می‌کنند. لغو شدن یک تصمیم از سوی هوک است و ثبت آن یک رویداد به شمار می‌رود؛ بنابراین ابزار ردگیری محاسبات (trace) که مشترک جریان رویدادها است، بدون نیاز به بازرسی داخلی حلقه از رد شدن درخواست مطلع می‌شود. ماشین وضعیت قطعی (deterministic) است؛ بنابراین بازپخش (replay) لاگ رویدادها (event log) بدون نیاز به فراخوانی مدل، وضعیت‌های یکسانی را بازسازی می‌کند.

فراخواننده چگونه از رد شدن درخواست باخبر می‌شود؟

Pull request دریافتی مربوط به گام سوم است. فراخواننده برای دیدن گام ردشده می‌تواند جریان رویدادها را برای رویداد tool.error با پیشوند hook_abort بررسی کند، یا یک مشترک روی on_error ثبت کرده باشد. بسترهای آزمایشی در محیط عملیاتی (production) گام ردشده را در فهرست تلاش‌های ناموفق تحویل وظیفه (handoff) نیز می‌گذارند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اگر لغو در آخرین گام برنامه رخ دهد، فراخواننده چه چیزی دریافت می‌کند؟ پاسخ مورد انتظار: نتیجه‌ی نشست (session) با دلیل goal_met؛ زیرا فاز بازنگری مکان‌نما را از انتهای برنامه عبور می‌دهد، حتی با اینکه گام آخر هرگز اجرا نشده است. بنابراین فراخواننده برای دیدن گام ردشده حتماً باید رویدادها را بخواند.
  • سطح 3: چرا حلقه نوبت گفت‌وگو را در فاز بازنگری می‌شمارد و نه در فاز اجرا؟ پاسخ مورد انتظار: نوبت گفت‌وگو نشان‌دهنده‌ی یک گام تکمیل‌شده است و فاز بازنگری همان جایی است که حلقه تصمیم می‌گیرد جلو برود، دوباره برنامه‌ریزی کند یا کار را تمام کند.
  • سطح 4: متد _transition از کدام پایا (invariant) محافظت می‌کند و بدون آن چه چیزی خراب می‌شود؟ پاسخ مورد انتظار: فقط جفت‌وضعیت‌های ثبت‌شده در جدول مجاز هستند؛ بنابراین باگی که بخواهد وضعیت را مستقیماً از انتظار برای ابزار به اجرای عملیات ببرد، به جای خراب کردن بازپخش، بلافاصله استثنا صادر می‌کند.
  • سطح 4: چگونه مسیر لغو را اصلاح می‌کنید تا رویداد متناظر step.end را منتشر کند؟ پاسخ مورد انتظار: قبل از تغییر وضعیت، رویداد step.end را با نتیجه‌ی aborted منتشر کنید تا هر شروع یک پایان مشخص داشته باشد و ابزار ردگیری محاسبات بتواند آن‌ها را به درستی جفت کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «خطای HookAbort به شکل استثنا به فراخواننده منتقل می‌شود.» حلقه آن را می‌گیرد، ثبت می‌کند و به مسیرش ادامه می‌دهد؛ بنابراین فراخواننده فقط pull request بعدی یا نتیجه را می‌بیند.
  • «گام ردشده با یک ابزار دیگر تکرار می‌شود.» طبق قرارداد، از گام ردشده صرف‌نظر می‌شود و حلقه به فاز بازنگری می‌رود؛ برای تلاش مجدد باید برنامه‌ریز برنامه‌ی جدیدی صادر کند.
  • «شمارنده‌ی فراخوانی ابزار افزایش می‌یابد چون تلاش برای فراخوانی ابزار انجام شده است.» شمارنده فقط پس از عبور موفقیت‌آمیز از هوک افزایش می‌یابد؛ بنابراین فراخوانیِ ردشده بودجه‌ای مصرف نمی‌کند.

کجای دوره آموزش داده می‌شود

قرارداد حلقه‌ی بستر آزمایشی ایجنت وضعیت‌ها، موضوعات هوک، جریان رویدادها و این مسیر لغو را مشخص می‌کند.