سؤال مصاحبه

نقطه‌ی پایان کارایی تک‌ایجنت، و دلایل آن

Where one agent stops working, and why

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

تک‌ایجنت (single agent) شما وظایف کوچک را به‌خوبی پیش می‌برد؛ اما وقتی با یک بیس‌کد شامل 200 فایل به سه زبان مختلف روبه‌رو می‌شود—همراه با تست‌هایی که به زیرساخت نیاز دارند و یک API خارجی که اول باید بررسی شود—دیگر پیشرفتی نمی‌کند. تیم پیشنهاد می‌دهد از مدلی با پنجره‌ی بافتار (context window) بزرگ‌تر استفاده کنید. ایجنت به چه سقفی برخورد کرده، و آیا پنجره‌ی بزرگ‌تر این سقف را برمی‌دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این وظیفه از توان حمل یک حلقه، یک پنجره و یک پرامپت سیستم فراتر می‌رود، و پنجره‌ی بزرگ‌تر فقط یکی از این سه محدودیت را جابه‌جا می‌کند. با انباشته شدن نتایج ابزارها، بافتار اشباع می‌شود؛ طوری که جزئیات یک نوبت گفت‌وگو (turn) ابتدایی تا نوبت 30 از بین می‌رود. همچنین، پرامپت واحدی که از مدل بخواهد تحقیق، کدنویسی، بازبینی و تست کند، ایجنتی می‌سازد که هر کدام را بی‌کیفیت انجام می‌دهد. از سوی دیگر، یک حلقه فایل A، سپس B و بعد C را می‌خواند، بدون هیچ موازی‌سازی. راهکار هر سه مشکل، تفکیک کار است تا هر ایجنت یک وظیفه، یک پنجره و یک پرامپت داشته باشد.

پاسخ کامل

سه نقطه‌ی شکست

  1. اشباع بافتار (Context saturation). نتایج ابزارها انباشته می‌شوند. تا نوبت 30، ایجنت حدود 150k توکن از محتوای فایل‌ها، خروجی دستورات و استدلال‌های خودش را مصرف کرده و جزئیات نوبت 5 از دست رفته است. خواندن 50 فایل حجیم می‌تواند از یک پنجره‌ی 200k توکنی هم بگذرد.
  2. سردرگمی نقشی (Role confusion). پرامپت سیستمی که بگوید شما محقق، برنامه‌نویس، بازبین و تستر هستید، ایجنتی تحویل می‌دهد که دست‌وپاشکسته تحقیق می‌کند، نیمه‌کاره کد می‌زند و هرگز بازبینی را تمام نمی‌کند.
  3. گلوگاه متوالی (Sequential bottleneck). ایجنت سه فایل را در قالب سه فراخوانی متوالی مدل و سه اجرای متوالی ابزار می‌خواند. هیچ‌چیز هم‌زمان اجرا نمی‌شود.

پنجره‌ی بزرگ‌تر چه چیزی را تغییر می‌دهد؟

این کار محدودیت اول را به تاخیر می‌اندازد و تاثیری روی دو محدودیت دیگر ندارد. ایجنت باز هم مطالبی را که 40 فراخوانی ابزار (tool call) پیش خوانده بود فراموش می‌کند؛ چون مشکل از اتنشن روی یک تاریخچه‌ی طولانی است، نه رسیدن به سقف قطعی پنجره. پرامپت همچنان از یک مدل می‌خواهد چهار نقش را بازی کند. حلقه نیز همچنان متوالی باقی می‌ماند.

تفکیک کار

به هر ایجنت یک وظیفه، یک پنجره و یک پرامپتِ متناسب با همان وظیفه بدهید. محقق مستندات را می‌خواند و فقط فکت‌های لازم برای پیاده‌سازی را خروجی می‌دهد. برنامه‌نویس آن فکت‌ها را تحویل می‌گیرد و کد می‌نویسد. بازبین کد را بررسی و باگ‌ها را پیدا می‌کند. مستنداتی که محقق خوانده هرگز وارد پنجره‌ی بازبین نمی‌شود؛ چون هر ایجنت فقط پیام‌های ارسال‌شده به خودش را دریافت می‌کند.

چه زمانی سراغ تک‌ایجنت برویم؟

قاعده‌ی سرانگشتی این درس: وظیفه‌ای که به کمتر از 20 فراخوانی ابزار نیاز دارد و در 100k توکن جا می‌شود، با همان تک‌ایجنت پیش می‌رود. تفکیک کار مصرف کل توکن‌ها را بالا می‌برد، منطق هماهنگی اضافه می‌کند که باگ‌های خاص خودش را دارد، و فرایند دیباگ را از خواندن یک مکالمه، به ردگیری محاسبات (tracing) در میان چند مکالمه تبدیل می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: موازی‌سازی کدام‌یک از این سه محدودیت را برطرف می‌کند؟ پاسخ مورد انتظار: فقط گلوگاه متوالی؛ چون خواندن هم‌زمان سه فایل نه هیچ پنجره‌ای را کوچک‌تر می‌کند و نه هیچ پرامپتی را دقیق‌تر.
  • سطح 2: چرا پرامپت تخصصی هر مرحله را بهتر می‌کند؟ پاسخ مورد انتظار: پرامپتی که یک نقش را پوشش می‌دهد می‌تواند درباره‌ی ورودی‌ها، خروجی‌ها و موارد نادیده‌گرفتنی دقیق باشد؛ در حالی که پرامپتِ چهارنقشی ناچار است کلی‌گویی کند.
  • سطح 2: هزینه‌ای که تفکیک کار همیشه به همراه دارد چیست؟ پاسخ مورد انتظار: مصرف توکن کل بیشتر، چون هر ایجنت یک فراخوانی مجزای مدل است، به‌علاوه‌ی تاخیر (latency) و منطق هماهنگی.
  • سطح 3: در تفکیک چندایجنت، اطلاعات در کجا گم می‌شوند؟ پاسخ مورد انتظار: در مرز میان تک‌تک ایجنت‌ها؛ جایی که بافتار کامل یک ایجنت فشرده و به پیامی برای ایجنت بعدی تبدیل می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پنجره‌ی بافتار بزرگ‌تر مشکل را حل می‌کند.» پنجره‌ی بزرگ‌تر فقط یکی از محدودیت‌ها را جابه‌جا می‌کند و سردرگمی نقشی و حلقه‌ی متوالی را دست‌نخورده باقی می‌گذارد.
  • «یک پرامپت سیستم طولانی‌تر و دقیق‌تر همه‌ی نقش‌ها را پوشش می‌دهد.» پرامپت واحدی که چهار نقش را پوشش دهد، علت سردرگمی نقشی است، نه درمان آن.
  • «همیشه کار را تفکیک کنید، چون ایجنت‌های متخصص بهترند.» برای وظایف زیرِ حدود 20 فراخوانی ابزار و 100k توکن، تفکیک کار بدون هیچ سودی فقط هزینه و باگ اضافه می‌کند.

کجای دوره آموزش داده می‌شود

در درس چرا سیستم‌های چندایجنت از این سه محدودیت و قاعده‌ی سرانگشتی برای ماندن روی تک‌ایجنت نام برده شده است.