سؤال مصاحبه

چرا ترکیب یک لید و چند ورکر در پژوهش، ایجنت تکی را شکست می‌دهد؟

Why a lead with workers beats one agent on research

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک سیستم پژوهشی با یک ایجنت لید (Lead Agent) و چند ایجنت ورکر (Worker Agent) در یک ارزیابی داخلی، با اختلاف چشمگیری ایجنت تکی را شکست داد. سازوکار این برتری را توضیح دهید و بگویید کدام متغیر به‌تنهایی بخش عمده‌ی این پیشرفت را توجیه می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

لید برنامه‌ریزی می‌کند و پرسش را می‌شکند؛ هر ورکر برای یک زیرپرسش محدود، یک پنجره‌ی بافتار تازه (Fresh context) می‌گیرد؛ و در نهایت لید خلاصه‌ی کار ورکرها را بدون اینکه هرگز منابع خام را بخواند، ترکیب می‌کند. سه سازوکار پشت این دستاورد هستند: بافتار تازه برای هر ورکر، پرامپت محدود برای هر نقش، و اجرای هم‌زمان ورکرها. متغیری که بخش عمده‌ی این نتیجه را توجیه می‌کند، کل توکن‌های مصرفی است؛ منبع این درس نشان می‌دهد که در یک بنچمارک مرور وب، 80 درصد واریانس صرفاً با همین متغیر توضیح داده می‌شود. ورکری که بار توکن‌های برنامه‌ریزیِ لید را به دوش نمی‌کشد، فضای کافی برای خواندن منابع دارد.

پاسخ کامل

ساختار کار

لید پرسش را تحویل می‌گیرد، آن را به چند زیرپرسش می‌شکند و هر کدام را به یک ورکر می‌سپارد. هر ورکر با پرامپت سیستم و زیرپرسش اختصاصی خودش شروع می‌کند، نه با تاریخچه‌ی گفت‌وگوی لید. ورکرها خلاصه‌ی یافته‌هایشان را برمی‌گردانند. لید هیچ‌وقت داده‌های خام را نمی‌بیند؛ فقط خلاصه‌ها را می‌خواند و پاسخ نهایی را بر اساس آن‌ها می‌نویسد.

سه سازوکار اصلی

  1. بافتار تازه: ورکری که روی یک زیرپرسش کار می‌کند، درگیر ده‌ها هزار توکنی نمی‌شود که لید صرفِ برنامه‌ریزی کرده است. این ورکر کل پنجره‌ی بافتار را برای پرسش خودش در اختیار دارد. در داده‌های این درس، هر ورکر به یک پنجره‌ی 200k دسترسی دارد، در حالی که لید از قبل 40k از پنجره‌ی خودش را پر کرده است.
  2. تخصصی‌سازی با پرامپت: پرامپت لید روی تجزیه و ترکیب متمرکز است. پرامپت هر ورکر می‌گوید تغییرات مربوط به یک موضوع مشخص را پیدا کن. پرامپت‌های محدود، خروجی‌های دقیق و کاربردی تولید می‌کنند.
  3. موازی‌سازی: ورکرها هم‌زمان اجرا می‌شوند؛ بنابراین زمان واقعی (Wall-clock) اجرا تقریباً برابر است با زمان طولانی‌ترین ورکر به‌علاوه‌ی زمان برنامه‌ریزی و ترکیب، نه مجموع زمان تک‌تک ورکرها.

دستاورد و هزینه‌ی آن

طبق گزارش این درس، در ارزیابی داخلی 90.2 درصد بهبود نسبت به ایجنت تکی ثبت شده است، اما این کار حدود 15 برابرِ ایجنت تکی توکن مصرف می‌کند. همان منبع اشاره می‌کند که در یک بنچمارک مرور وب، حدود 80 درصد واریانس نتایج صرفاً با میزان مصرف توکن توجیه می‌شود. این الگو برنده می‌شود چون توکن‌های بیشتری را درست در جایی خرج می‌کند که اثرگذارند، نه به این خاطر که لید باهوش است.

درس‌های عملیاتی همراه این الگو

میزان تلاش را متناسب با پرسش تنظیم کنید: یک پرسش ساده با یک ایجنت و چند فراخوانی ابزار (Tool call) جمع می‌شود، اما یک مسئله‌ی پیچیده شاید بیش از 10 ورکر بخواهد؛ لید باید بتواند این موضوع را تخمین بزند. ابتدا مسئله را در سطح کلان بشکنید، سپس هر جا که پاسخ ایجاب کرد، عمیق‌تر شوید. ایجنت‌های حالت‌دار (Stateful) با زمان اجرای طولانی، به استقرار تدریجی نیاز دارند تا نسخه‌های قبلی کارشان تمام شود و تخلیه شوند، نه جایگزینی آنی و ناگهانی.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا لید منابع خام را نمی‌خواند؟ پاسخ مورد انتظار: تا پنجره‌ی بافتارش برای برنامه‌ریزی و ترکیب خالی بماند، و هر منبع فقط یک بار توسط همان ورکری خوانده شود که مسئولش است.
  • سطح 2: چه زمانی این الگو در برابر یک پایپ‌لاین شکست می‌خورد؟ پاسخ مورد انتظار: وقتی که گام دوم به خروجی گام اول نیاز داشته باشد؛ در این حالت کار موازی ممکن نیست و ایجنت‌های اضافی فقط توکن مصرف می‌کنند.
  • سطح 2: وقتی دو ورکر با هم اختلاف‌نظر دارند، لید چه می‌کند؟ پاسخ مورد انتظار: دوباره پرسش را مطرح می‌کند یا وجود این اختلاف‌نظر را در پاسخ نهایی قید می‌کند؛ هیچ‌وقت در سکوت یکی از طرفین را انتخاب نمی‌کند.
  • سطح 3: یک ورکر دچار دریفت (Drift) می‌شود و از دامنه‌ی زیرپرسش خود فراتر می‌رود. چه چیزی جلوی آن را می‌گیرد؟ پاسخ مورد انتظار: تعیین دامنه‌ی صریح (Explicit scope) در پرامپت آن، یک محدودیت زمانی (Timeout) معادل حدود دو برابر میانه‌ی زمان اجرای ورکرها، و یک سقف مصرف توکن؛ پس از آن، لید یا با پرسشی محدودتر ورکر را از نو می‌سازد یا بدون آن کار را ادامه می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «لید مدل بزرگ‌تری است، پس باهوش‌تر است.» پیشرفت حاصل‌شده مستقیماً به مصرف توکن وابسته است و کارِ خواندن را هم ورکرها انجام می‌دهند؛ صرفاً بزرگ‌تر کردن لید هیچ تغییری در مسئله‌ی بافتار ایجاد نمی‌کند.
  • «سیستم چندایجنت ارزان‌تر تمام می‌شود چون ورکرها کوچک‌ترند.» این الگو حدود 15 برابر بیشتر توکن مصرف می‌کند و تنها زمانی می‌ارزد که ارزش وظیفه (Task) این هزینه را پوشش دهد.
  • «منابع خام را به لید هم بدهید تا بتواند کار ورکرها را بررسی کند.» این کار پنجره‌ی لید را با همان چیزهایی پر می‌کند که ورکرها قبلاً خوانده‌اند و مزیت بافتار تازه را از بین می‌برد.

کجای دوره آموزش داده می‌شود

درس الگوی سرپرست لید و ورکرهای موازی را می‌سازد و پیشرفت اندازه‌گیری‌شده را گزارش می‌دهد.