سؤال مصاحبه

نوبت‌گردشی، انتخاب با مدل، یا تصمیم‌گیری ایجنت فعلی

Round-robin, a model selector, or the current agent decides

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

چهار ایجنت شامل برنامه‌نویس، بازبین، تست‌کننده و پژوهشگر، در یک گفت‌وگو مشترک هستند. باید مشخص کنید در هر نوبت گفت‌وگو (turn)، گوینده‌ی بعدی چطور انتخاب شود. گزینه‌های پیشِ رو عبارت‌اند از: نوبت‌گردشی ثابت، مدلی که پیام‌های اخیر را می‌خواند و گوینده را انتخاب می‌کند، و واگذاری انتخاب جانشین به ایجنت فعلی. این روش‌ها را مقایسه کنید و بگویید برای بردن هر کدام به محیط عملیاتی (production) چه مواردی را پیاده‌سازی می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نوبت‌گردشی ثابت رویکردی قطعی (deterministic) و کم‌هزینه است؛ اما وقتی بحث درباره‌ی یک مسئله‌ی حقوقی باشد، نوبت را به برنامه‌نویس می‌دهد. انتخاب با مدل، از زمینه‌ی گفت‌وگو آگاه است؛ اما در هر نوبت یک فراخوانی مدل اضافی تحمیل می‌کند، در ازای ورودی یکسان خروجی‌های متفاوتی می‌دهد و تمایل دارد همیشه یک ایجنت خاص را برگزیند. تحویل وظیفه (handoff) توسط ایجنت فعلی، منطق مسیریابی (routing) را داخل پرامپت‌ها نگه می‌دارد و به مدیر بیرونی نیازی ندارد؛ با این حال این الگو در صورت ناسازگاری دو پرامپت وارد حلقه‌ی تکرار می‌شود. بیشتر چت‌های عملیاتی از مدل انتخاب‌کننده در کنار قواعد طرح پشتیبان (fallback)، سقف تعداد نوبت، سیگنال خاتمه و ثبت وقایع برای تک‌تک انتخاب‌ها استفاده می‌کنند.

پاسخ کامل

سه روش انتخاب گوینده

انتخاب‌کننده نقطه‌ی قوت نقطه‌ی ضعف
نوبت‌گردشی (Round-robin) قطعی است، فراخوانی اضافه ندارد و با افزایش ایجنت‌ها مقیاس‌پذیری خطی دارد زمینه را نادیده می‌گیرد، بنابراین نوبت به ایجنت اشتباه می‌رسد
انتخاب توسط مدل مخزن پیام‌ها را می‌خواند و بهترین گوینده‌ی بعدی را انتخاب می‌کند در هر نوبت یک فراخوانی اضافه دارد، در اجراهای مختلف ناپایدار است و ممکن است به نفع یک گوینده‌ی غالب (hot speaker) سوگیری کند
تحویل وظیفه توسط ایجنت فعلی مدیری در کار نیست و مسیریابی در دل هر پرامپت قرار دارد دو پرامپت ممکن است یک چرخه بسازند، و تزریق پرامپت (prompt injection) می‌تواند تحویل وظیفه را به زور هدایت کند

چه کسی تصمیم می‌گیرد، و در کجا

تفاوت روش دوم و سوم در محل اتخاذ تصمیم است. در یک گفت‌وگوی گروهی، انتخاب‌کننده بیرون از ایجنت‌ها قرار دارد و مخزن پیام‌های مشترک را بررسی می‌کند. در الگوی تحویل وظیفه، ایجنت فعال (active agent) خودش با فراخوانی ابزار (tool call) که ایجنت بعدی را برمی‌گرداند تصمیم‌گیرنده است. یک مدیر بیرونی می‌تواند نوبت‌دهی متناوب بین دو ایجنت را ببیند و چرخه را بشکند؛ اما ایجنت حاضر در حلقه قادر به دیدن و شکستن آن نیست.

چه مشکلاتی در گفت‌وگوی گروهی رخ می‌دهد

  • عدم قطعیت. یک مخزن پیام یکسان، در اجراهای مختلف گوینده‌های بعدی متفاوتی به دست می‌دهد که به قابلیت بازبینی و بازپخش (replay) آسیب می‌زند.
  • آبشار دنباله‌روی. ایجنت‌ها از سخنان هر کسی که با اطمینان بیشتری صحبت کند پیروی می‌کنند؛ بنابراین پرامپت‌ها باید مشخص کنند چه زمانی مجاز به مخالفت هستند.
  • رشد زمینه‌ی گفت‌وگو. هر ایجنت تک‌تک پیام‌ها را می‌خواند و بعد از حدود 10 نوبت، مخزن پیام‌ها بسیار حجیم می‌شود؛ بنابراین باید به هر ایجنت دیدی محدود بر اساس دامنه‌ی کاری‌اش (scope) بدهید.
  • سلطه‌ی یک ایجنت. انتخاب‌کننده مدام ایجنتی را برمی‌گزیند که تخصصش با پیام‌های اخیر همخوانی دارد؛ پس تعداد نوبت‌های هر ایجنت را رصد کنید و در صورت بروز عدم تعادل هشدار دهید.

ملزومات محیط عملیاتی

  1. سقف تعداد نوبت، معمولاً 10 تا 20 نوبت برای یک وظیفه‌ی معمولی (task).
  2. سیگنال خاتمه: یک توکن نگهدارنده (sentinel token) از سمت یک ایجنت، یا یک مدل اعتبارسنج (verifier) که در هر نوبت تحقق هدف را بررسی کند.
  3. متریک تعادل گویندگان، همراه با هشدار برای زمانی که یک ایجنت نوبت‌های بیش‌ازحدی به خود اختصاص می‌دهد.
  4. انتخاب‌کننده‌ی سفارشی که خروجی مدل را با قوانینی مانند «تست‌کننده بعد از برنامه‌نویس صحبت می‌کند» ترکیب کند.
  5. ثبت کامل ورودی و خروجیِ انتخاب‌کننده، زیرا بدون ورودی نمی‌توان انتخاب اشتباه را عیب‌یابی کرد.

کاربرد هر رویکرد

نوبت‌گردشی ثابت برای یک پایپ‌لاین (pipeline) مرحله‌به‌مرحله با ترتیب مشخص مناسب است. انتخاب توسط مدل به درد گفت‌وگوهای اکتشافی می‌خورد که جریان کاری (flow) آن‌ها شبیه گراف ثابت نیست. تحویل وظیفه مناسب تریاژ است، جایی که یک ایجنت خط اول کاربر را به یک متخصص هدایت می‌کند و مکالمه کوتاه است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا انتخاب‌کننده‌ی مبتنی بر مدل باید ورودی‌هایش را هم درست مثل خروجی ثبت کند؟ پاسخ مورد انتظار: انتخاب نهایی به آنچه مدل دیده بستگی دارد؛ بدون دسترسی به ورودی، بازبین نمی‌تواند تشخیص دهد تصمیم انتخاب‌کننده اشتباه بوده یا محتوای مخزن پیام‌ها ایراد داشته است.
  • سطح 2: پایان‌دهی مبتنی بر مدل اعتبارسنج چه مزیتی نسبت به توکن نگهدارنده دارد؟ پاسخ مورد انتظار: چت زمانی متوقف می‌شود که یک بررسی کیفی پاس شود، نه صرفاً با ادعای تمام شدن کار توسط یک ایجنت. این کار جلوی پایان زودهنگام توسط ایجنت‌های بااعتمادبه‌نفس کاذب را می‌گیرد.
  • سطح 3: کدام‌یک از این سه روش آسیب‌پذیری در برابر تزریق پرامپت را بدتر می‌کند، و چرا؟ پاسخ مورد انتظار: الگوی تحویل وظیفه؛ چون فراخوانی ابزارِ تصمیم‌گیرنده توسط ایجنتی انجام می‌شود که متن مخرب را خوانده است، در حالی که انتخاب‌کننده‌ی بیرونی می‌تواند قوانینی را اعمال کند که دسترسی به آن‌ها خارج از اختیارات ایجنت‌هاست.
  • سطح 3: یک انتخاب‌کننده‌ی سفارشی چطور مشکل گوینده‌ی غالب را بدون از بین بردن درک زمینه حل می‌کند؟ پاسخ مورد انتظار: اجازه دهید مدل پیشنهادش را ارائه کند، سپس قانونی اعمال کنید که نوبت‌های پیاپی هر ایجنت را محدود سازد و ورود مدل اعتبارسنج یا یک ایجنت کم‌حرف‌تر را الزامی کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از انتخاب‌کننده‌ی مبتنی بر مدل استفاده کنید، چون گفت‌وگو را درک می‌کند.» این کار در هر نوبت یک فراخوانی اضافه می‌کند، رفتار متزلزلی دارد و اگر با قوانین و متریک‌های تعادل مهار نشود، فقط به نفع یک ایجنت سوگیری می‌کند.
  • «نوبت‌گردشی منصفانه است، پس امن محسوب می‌شود.» نوبتِ منصفانه لزوماً نوبتِ مفید نیست؛ پاسخ دادن برنامه‌نویس به یک پرسش حقوقی هم یک دور مکالمه را هدر می‌دهد و هم نویز به مخزن پیام‌ها اضافه می‌کند.
  • «بگذارید ایجنت‌ها خودشان بین خودشان تصمیم بگیرند.» این همان الگوی تحویل وظیفه است که گرفتار چرخه‌های باطل می‌شود و با پیام‌های تزریق‌شده مسیرش تغییر می‌کند.

کجای دوره آموزش داده می‌شود

در درس گفت‌وگوی گروهی هر سه نوع انتخاب‌کننده و قوانین خاتمه را پیاده‌سازی می‌کنیم، و در درس تحویل وظیفه و روتین‌ها تصمیم‌گیری توسط مدیر بیرونی با تصمیم‌گیری خود ایجنت مقایسه می‌شود.