سؤال مصاحبه

پنج ایجنت برای کاری که با یک فراخوانی راه می‌افتد

Five agents for a task that one call handles

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

تیمی پیشنهاد داده است پایپ‌لاینی شامل پنج ایجنت (برنامه‌ریز، بازیاب، نویسنده، ناقد و قالب‌بندی‌کننده) برای قابلیت خلاصه‌سازی ساخته شود؛ کاری که امروزه یک ایجنت واحد با حدود دوازده فراخوانی ابزار (tool call) انجامش می‌دهد. استدلال آن‌ها این است که متخصصان خروجی بهتری تولید می‌کنند. چطور تصمیم می‌گیرید و هزینه‌های این پایپ‌لاین که در اسلایدها دیده نمی‌شود چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

همان تک‌ایجنتی را حفظ کنید، مگر اینکه وظیفه در یکی از این سه آزمون مردود شود: به کانتکستی بیش از ظرفیت یک پنجره نیاز داشته باشد، در مراحل مختلف به پرامپت‌های متفاوتی احتیاج پیدا کند، یا بخش‌هایی از کار قابلیت اجرای هم‌زمان داشته باشند. دوازده فراخوانی ابزار روی وظیفه‌ای که در یک پنجره جا می‌شود، در هیچ‌یک از این آزمون‌ها رد نمی‌شود. پایپ‌لاین پیشنهادی، در هر یک از چهار مرزِ ارتباطی یک مرحله فشرده‌سازی همراه با اتلاف اطلاعات اضافه می‌کند، لاجیک هماهنگی با باگ‌های خاص خودش به بار می‌آورد، تاخیر (latency) را حداقل به اندازه‌ی پنج فراخوانی متوالی مدل بالا می‌برد و هزینه‌ی توکن را پنج برابر می‌کند.

پاسخ کامل

سه آزمون اصلی

آزمون پرسش محوری وضعیت در این وظیفه
کانتکست (Context) آیا داده‌های در حال پردازش از ظرفیت یک پنجره (تقریباً 100k توکن) فراتر می‌رود؟ خیر، دوازده فراخوانی ابزار جا می‌شود
تخصص (Expertise) آیا مراحل مختلف به سیستم پرامپت‌های (system prompt) متفاوتی نیاز دارند؟ خلاصه‌ساز و قالب‌بندی‌کننده می‌توانند از یک پرامپت مشترک استفاده کنند
موازی‌سازی (Parallelism) آیا بخش‌هایی از کار به شکل هم‌زمان قابل اجرا هستند؟ مراحل کاملاً متوالی هستند

قاعده‌ی سرانگشتی درس می‌گوید وظیفه‌ای با کمتر از 20 فراخوانی ابزار و زیر 100k توکن، باید با همان تک‌ایجنتی پیاده‌سازی شود.

هزینه‌های پنهان

  • مرزهای همراه با اتلاف اطلاعات (Lossy boundaries). هر پیامی که میان دو ایجنت ردوبدل می‌شود، تمام کانتکست فرستنده را در قالب یک پیام فشرده می‌کند. چهار مرز یعنی چهار نقطه‌ای که ممکن است جزئیات موردنیازِ ناقد (critic) در آن‌ها از بین برود.
  • باگ‌های هماهنگی. اینکه چه کسی کِی اجرا شود، با چه ترتیبی پیش برود و چه ورودی‌ای تحویل بگیرد، کُد جدیدی می‌خواهد که به شیوه‌های تازه‌ای هم به باگ می‌خورد.
  • تاخیر. پنج ایجنت یعنی حداقل پنج فراخوانی متوالی مدل؛ اگر ناقد کار را برای نویسنده پس بفرستد، این تاخیر بیشتر هم می‌شود.
  • هزینه. هر ایجنت توکن‌های خودش را مصرف می‌کند و در نتیجه، هزینه‌ی کل چند برابر می‌شود.
  • دیباگ کردن. یک مکالمه تبدیل به پنج مکالمه می‌شود و برای پیدا کردن ریشه‌ی یک پاسخ نادرست، باید پیام‌های ردوبدل‌شده میان آن‌ها را ردگیری کرد.

چه زمانی پیشنهاد اسلایدها درست از آب درمی‌آید؟

اگر این قابلیت گسترش یابد و قرار شود اسنادی را خلاصه کند که در یک پنجره جا نمی‌شوند، کار را به ازای هر سند بشکنید و سپس نتایج را merge کنید. اگر ناقد به پرامپتی نیاز دارد که با نویسنده مخالفت کند، این یک نقش مستقل و واقعی است. اگر سه منبع را می‌توان هم‌زمان خواند، کار را منشعب کنید (fan out). هر کدام از این موارد یکی از آزمون‌های سه‌گانه است و تفکیک باید دقیقاً متناسب با آزمونی باشد که وظیفه در آن رد شده است، نه اینکه همه‌ی نقش‌ها را یک‌جا اضافه کنید.

روش حل مسئله و تصمیم‌گیری

هر دو را روی مجموعه‌ای یکسان از وظایف اجرا کنید و کیفیت، تاخیر و توکن‌ها را بسنجید. مقایسه‌ی ارائه‌شده در درس نشان می‌دهد که نسخه‌ی چندایجنت کلِ توکن‌های بیشتری مصرف می‌کند، هرچند کانتکست هر مرحله تمیز و خلوت می‌ماند. اگر میزان بهبود کیفیت، تاخیر و هزینه‌ی تحمیل‌شده را جبران نکند، برنده‌ی میدان رویکرد تک‌ایجنتی است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: ناقد، پیش‌نویس را برای نویسنده پس می‌فرستد. این اتفاق چه اثری روی تاخیر می‌گذارد؟ پاسخ موردانتظار: هر دور بازگشت، دو فراخوانی متوالیِ دیگر به مدل اضافه می‌کند؛ بنابراین این حلقه حتماً باید سقف تکرار داشته باشد.
  • سطح 2: اگر قرار به تفکیک باشد، اول کدام بخش را جدا می‌کنید؟ پاسخ موردانتظار: یک ناقد با پرامپت خصمانه (adversarial prompt)؛ چون تنها نقشی است که واقعاً به سیستم پرامپتی متفاوت نیاز دارد، آن هم فقط در صورتی که ارزیابی‌ها نشان دهند کیفیت خروجی بهتر می‌شود.
  • سطح 3: چرا مرز میان ایجنت‌ها فشرده‌سازی با اتلاف اطلاعات شمرده می‌شود؟ پاسخ موردانتظار: ایجنتِ دریافت‌کننده صرفاً خود پیام را می‌بیند، نه نتایج ابزارها و استدلال فرستنده را؛ در نتیجه هر جزئیاتی که در متن پیام نیامده باشد، از دست رفته است.
  • سطح 3: اگر خلاصه‌ها باید تحت سقف تاخیر مشخص و سخت‌گیرانه‌ای تولید شوند، تصمیم‌گیری چه تغییری می‌کند؟ پاسخ موردانتظار: مراحل متوالی دشمن تاخیر هستند؛ بنابراین روی همان تک‌ایجنتی بمانید یا فقط بخش‌هایی را منشعب کنید که قابلیت اجرای موازی دارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «متخصصان همیشه مدل‌های عمومی را شکست می‌دهند.» متخصصان زمانی برنده می‌شوند که وظیفه در یکی از آزمون‌های سه‌گانه رد شود، در حالی که این وظیفه در هیچ‌کدام رد نشده است.
  • «ایجنت‌های بیشتر یعنی بررسی‌های بیشتر، پس کیفیت بالا می‌رود.» هر مرز ارتباطی باعث از دست رفتن اطلاعات می‌شود و ناقدی که هرگز منابع اصلی را ندیده، نمی‌تواند آن‌ها را بررسی کند.
  • «در مقیاس کاری ما هزینه‌ی توکن اهمیتی ندارد.» پنج ایجنت در تک‌تک درخواست‌ها هزینه و تاخیر را ضرب‌در چند می‌کنند؛ این یک تصمیم برای محصول است، نه مسئله‌ای جزئی.

کجای دوره آموزش داده می‌شود

درس چرا چندایجنت آزمون‌های سه‌گانه، هزینه‌ی پیچیدگی و قاعده‌ی سرانگشتی را آموزش می‌دهد.