سؤال مصاحبه

دو ایجنت مدام کار را به یکدیگر تحویل می‌دهند تا سقف مجاز پر شود

Two agents hand off to each other until the cap

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک سامانه‌ی پشتیبانی از ارکستراسیون مبتنی بر تحویل وظیفه (Handoff) استفاده می‌کند: هر ایجنت (Agent) از یک پرامپت (Prompt) به‌همراه مجموعه‌ای از ابزارها تشکیل شده است و یکی از این ابزارها ایجنت دیگری را برمی‌گرداند. ردگیری محاسبات (Trace) نشان می‌دهد ایجنت تریاژ کاربر را به بخش مالی تحویل می‌دهد، بخش مالی کاربر را دوباره به تریاژ برمی‌گرداند و این روند آن‌قدر تکرار می‌شود تا سقف مجاز دورها اجرا را متوقف کند. کاربر هرگز پاسخی نگرفته است. چرا چنین اتفاقی می‌افتد و راهکار ارزان برای رفع آن چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در این الگو، مسیریابی (Routing) درون پرامپت‌ها قرار دارد و ایجنت فعلی با یک فراخوانی ابزار (Tool call) جانشین خود را انتخاب می‌کند. در پرامپت تریاژ آمده که پرسش مالی باید به بخش مالی برود، و در پرامپت بخش مالی آمده که هر موضوع خارج از ابزارهایش باید به تریاژ بازگردد؛ پیام کاربر نیز هر دو شرط را برآورده می‌کند. بین تحویل‌ها هیچ داده‌ای ماندگار نمی‌شود؛ در نتیجه ایجنت جدید کارش را بر اساس پرامپت خود و تاریخچه شروع می‌کند و نمی‌داند که همین تحویل وظیفه پیش‌تر با شکست مواجه شده است. راهکار ارزان، استفاده از یک مکانیزم تشخیص حلقه (Loop Detection) روی چند تحویل وظیفه‌ی اخیر است تا خروج اجباری به سمت یک ایجنت طرح پشتیبان (Fallback) رخ دهد؛ همچنین ثبت یک رویداد ردگیری محاسبات به‌ازای هر تحویل وظیفه الزامی است.

پاسخ کامل

چرا این الگو دچار حلقه می‌شود

دو جزء سازنده (Primitive) در اینجا وجود دارد: روتین (Routine)، یعنی پرامپت سیستمی که یک نقش و ابزارهایش را تعریف می‌کند، و تحویل وظیفه، یعنی ابزاری که ایجنت بعدی را برمی‌گرداند. تنها وظیفه‌ی فریم‌ورک این است که مقدار خروجی از جنس ایجنت را ببیند و سوییچ کند. نه گرافی در کار است و نه ماشین وضعیتی (State Machine). مسیریابی دقیقاً همان چیزی است که پرامپت‌ها می‌گویند، و دو پرامپت می‌توانند بدون اینکه کسی عمداً چرخه‌ای نوشته باشد، یک دور باطل ایجاد کنند. این الگو بین اجراها بی‌وضعیت (Stateless) است و درون یک اجرا هم تنها حافظه‌ی موجود، تاریخچه‌ی پیام‌هاست که ایجنت‌ها آن را برای پیدا کردن الگوی تکرارشونده نمی‌خوانند.

شناسایی مشکل در ردگیری محاسبات

حلقه‌ی تحویل وظیفه زمانی است که دو ایجنت بدون هیچ نوبت گفت‌وگو (Turn) از سمت کاربر و بدون هیچ نتیجه‌ای از ابزارها، به‌طور متناوب جایگزین یکدیگر شوند. رویدادهای تحویل وظیفه را برای این دو ایجنت بررسی کنید. اگر هر تحویل با دلیل یکسانی انجام شده باشد، پرامپت‌ها بر سر اینکه مسئولیت این پرونده با کیست توافق ندارند.

راهکار ارزان

  1. تشخیص حلقه. چند تحویل وظیفه‌ی آخر را در یک حلقه‌ی حافظه (Ring) نگه دارید. وقتی همان دو ایجنت سه بار پشت‌سرهم کار را به یکدیگر تحویل دادند، یک خروج اجباری اعمال کنید.
  2. ایجنت طرح پشتیبان. خروج اضطراری به سمت یک پیش‌فرض امن (Safe default) هدایت می‌شود که می‌تواند پاسخ دهد یا پرونده را به یک نیروی انسانی ارجاع دهد. همین طرح پشتیبان، تحویل به ایجنتی را که وجود ندارد نیز مدیریت می‌کند.
  3. ثبت وقایع تحویل وظیفه. هر تحویل وظیفه رویدادی شامل فرستنده، گیرنده و یک اسنپ‌شات (Snapshot) از بافتار ثبت می‌کند تا حلقه پیش از رسیدن به سقف مجاز، دیده شود.

راهکار اصولی

پرامپت‌ها را طوری اصلاح کنید که دقیقاً یک ایجنت مالک هر پرونده باشد، و به‌جای دلیلی برای پس‌فرستادن، ابزاری در اختیار ایجنت مالی بگذارید که پرونده را مدیریت کند. مشخص کنید در هر تحویل وظیفه چه بافتاری منتقل می‌شود: فرستادن کل تاریخچه پرهزینه است، فرستادن N پیام آخر باعث از دست رفتن دلیل اصلی می‌شود، و خلاصه‌ای که ایجنت خروجی می‌نویسد معمولاً نقطه‌ی تعادل رایج است. نسخه‌ی عملیاتی (Production) این الگو مواردی مثل نشست‌ها (Sessions)، گاردریل‌ها (Guardrails) و ردگیری محاسبات را حول همین جزء سازنده اضافه می‌کند؛ بعلاوه یک فیلتر تحویل وظیفه دارد که ورودی‌های ایجنتِ تحویل‌گیرنده را کنترل می‌کند.

زاویه‌ی دید امنیتی

تحویل وظیفه به ایجنتی با دسترسی‌های ابزاریِ متفاوت حتماً باید اعتبارسنجی شود؛ زیرا پیامی که کاربر آن را ننوشته است (مثلاً متنی که از یک سند استخراج شده) می‌تواند درخواست تحویل به ایجنتی با قابلیت‌های بالاتر را بدهد. با هر تحویل وظیفه مانند تغییر سطح دسترسی برخورد کنید، نه صرفاً یک جزئیات مسیریابی.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا ایجنت مالی متوجه نمی‌شود که پیش از این یک بار این کاربر را پس فرستاده است؟ پاسخ مورد انتظار: این ایجنت بی‌وضعیت است و کارش را از پرامپت خود به‌همراه تاریخچه شروع می‌کند، و هیچ بخشی در حلقه وجود ندارد که تاریخچه را برای شناسایی تحویل تکراری بخواند.
  • سطح 2: ایجنت طرح پشتیبان چه کاری باید انجام دهد؟ پاسخ مورد انتظار: با آنچه می‌تواند پاسخ دهد، یا پرونده را به‌همراه گزارش ردگیری محاسبات به انسان بسپارد، و هرگز کار را به هیچ‌کدام از دو ایجنتِ داخل حلقه تحویل ندهد.
  • سطح 3: چگونه انتخاب می‌کنید چه بافتاری در زمان تحویل وظیفه جابه‌جا شود؟ پاسخ مورد انتظار: اگر پرونده کوتاه است کل تاریخچه؛ اگر طولانی است خلاصه‌ای که ایجنت مبدأ نوشته است؛ و هرگز نباید خالی باشد، چرا که در این صورت ایجنت جدید پرسش‌ها را تکرار می‌کند.
  • سطح 3: یک گفت‌وگوی گروهی دارای انتخاب‌گر (Selector) چطور جلوی این حلقه‌ی خاص را می‌گیرد؟ پاسخ مورد انتظار: انتخاب‌گر بیرون از ایجنت‌ها قرار دارد و می‌تواند تناوب را ببیند، در حالی که در الگوی تحویل وظیفه، همان ایجنتی که داخل حلقه افتاده تصمیم‌گیرنده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سقف مجاز دورها را بالا ببرید تا ایجنت‌ها فرصت کنند به نتیجه برسند.» سقف مجاز همان چیزی است که به حلقه پایان داد، و دورهای بیشتر فقط تکرار بیشتری از همان دو تحویل وظیفه را به دنبال دارد.
  • «به تریاژ بگویید هیچ‌وقت تحویل از بخش مالی را قبول نکند.» این کار جلوی بازگشتِ معتبر را وقتی بخش مالی واقعاً نمی‌تواند کمکی کند می‌گیرد؛ راهکار درست مالکیت شفاف به‌همراه سیستم تشخیص است.
  • «به یک فریم‌ورک مبتنی بر گراف مهاجرت کنید تا مشکل ناپدید شود.» یک گراف هم می‌تواند دقیقاً همین چرخه را با دو یال کدگذاری کند، و سیستم تشخیص حلقه در هر دو حالت مفید است.

کجای دوره آموزش داده می‌شود

درس تحویل وظیفه و روتین‌ها حلقه‌ی تحویل وظیفه را می‌سازد و تشخیص حلقه به‌همراه ایجنت طرح پشتیبان را در چک‌لیست خود فهرست کرده است.