سؤال مصاحبه

پیش از باور ادعاهای بنچ‌مارک چندایجنت، این موارد را بخوانید

Read a multi-agent benchmark claim before you believe it

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

مقاله‌ای گزارش می‌دهد که سیستم برنامه‌نویسی چندایجنتی آن در یک بنچ‌مارک (benchmark) نام‌آشنای مهندسی نرم‌افزار، ایجنت‌های منفرد را با اختلافی چشمگیر شکست می‌دهد. تیم شما می‌خواهد این معماری را به کار بگیرد. پیش از آنکه عدد گزارش‌شده را باور کنید، چه مواردی را می‌پرسید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بپرسید کدام بنچ‌مارک و کدام تفکیک (split) داده استفاده شده است؛ آیا بنچ‌مارک پس از تاریخ نهایی داده‌های آموزشی (cutoff) مدل منتشر شده یا خیر؛ خط مبنای مقایسه چه بوده؛ چند بار آزمایش انجام شده؛ چند نوع وظیفه پوشش داده شده است؛ و دستیابی به این نتیجه چقدر توکن و زمان واقعی هزینه برده است. تفکیک داده از همه مهم‌تر است: مدل‌های پیشرو روی تفکیک غیرآلوده‌ی همان بنچ‌مارک امتیازی در حدود 23 درصد می‌گیرند، در حالی که روی تفکیک قدیمی‌تر بالای 70 درصد ثبت می‌کنند؛ بنابراین یک عدد بدون مشخص بودن تفکیک آن هیچ معنایی ندارد.

پاسخ کامل

چک‌لیست ارزیابی

پرسش اهمیت آن
کدام بنچ‌مارک، کدام تفکیک تفکیک جدیدتر طوری ساخته شده که در برابر نرخ آلودگی مقاوم باشد؛ امتیازها بین دو تفکیک تا سه برابر با هم تفاوت دارند
نرخ آلودگی بنچ‌مارکی که قبل از تاریخ نهایی آموزش مدل منتشر شده باشد ممکن است به داده‌های آموزشی درز کرده باشد، بنابراین امتیاز می‌تواند کاذب و متورم باشد
خط مبنا مقایسه باید در برابر خط مبنای تک‌ایجنتی، تصادفی و کارهای چندایجنتی پیشین باشد، نه در برابر نسخه‌ی تنظیم‌نشده‌ای از همان سیستم
معناداری آماری تعداد آزمایش‌ها و بازه‌ی اطمینان؛ چون مدل‌های مرزی واریانس بالایی دارند و یک بار اجرای آزمایش گمراه‌کننده است
تنوع وظایف یک وظیفه یا وظایف متعدد؛ زیرا محیط عملیاتی به تعمیم‌پذیری نیاز دارد
شفافیت هزینه‌ها میزان مصرف توکن در هر وظیفه و زمان واقعی؛ چرا که نتیجه‌ای قوی با 20 برابر هزینه‌ی بیشتر، یک تصمیم‌گیری تجاری است

درس‌هایی از سایر بنچ‌مارک‌ها

این درس پنج خانواده از بنچ‌مارک‌ها را بررسی می‌کند که دو مورد از آن‌ها هشداری جدی هستند. در یک بنچ‌مارک هماهنگی چندحالته (multimodal) با اطلاعات نامتقارن، مدل‌های مرزی حتی برای شکست دادن خط مبنای تصادفی به زحمت افتادند. در یک بنچ‌مارک پزشکی با چهار دسته‌ی وظیفه، سیستم‌های چندایجنتی در بیشتر دسته‌ها بر مدل تکی برتری نیافتند؛ شکستن مسئله تنها در مواردی کمک کرد که زیروظیفه‌ها تفکیک‌پذیر بودند، و در جاهایی که هزینه‌ی هماهنگی از مزیت تخصص‌گرایی فراتر می‌رفت، به عملکرد آسیب زد. یک بنچ‌مارک توپولوژی نشان داد که ساختار گراف برای پژوهش، زنجیره‌ای برای کدنویسی گام‌به‌گام و ستاره‌ای برای کارهای سریع و مبتنی بر واقعیت بهترین است؛ همچنین مشخص شد که از حدود 4 ایجنت به بعد مالیات هماهنگی پدیدار می‌شود و برنامه‌ریزی شناختی نیز تنها حدود 3 درصد به دستیابی به اهداف میانی اضافه می‌کند.

عددی که در پرامپت آمده چه معنایی می‌تواند داشته باشد

اگر این نتیجه روی تفکیک غیرآلوده باشد، داربست تیم ایجنت‌ها اختلاف ملموسی در محدوده‌ی 30 تا 40 امتیاز ایجاد کرده است و این یکی از قوی‌ترین استدلال‌های تجربی به نفع هماهنگی به شمار می‌رود. اگر روی تفکیک قدیمی‌تر باشد، این نتیجه دیگر شواهدی بر توانمندی سیستم نیست.

مواردی که هیچ بنچ‌مارکی به‌خوبی نمی‌سنجد

هماهنگی در افق‌های زمانی بلندمدت طی چندین روز، تاب‌آوری در برابر ایجنت مخرب، دریفت پس از استقرار، و عملکرد نرمال‌شده بر اساس هزینه. برای محوری که برایتان اهمیت دارد، یک بنچ‌مارک داخلی بر اساس توزیع داده‌های محیط عملیاتی خود بسازید، یک خط مبنای تصادفی در هر مقایسه بگنجانید، هزینه را در کنار دقت گزارش کنید و آن را هر فصل بازسازی کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا باید یک سیستم هماهنگی را با حدس تصادفی مقایسه کرد؟ انتظار می‌رود: اگر سیستم نتواند تصادف را با اختلافی چشمگیر شکست دهد، شاید وظیفه به‌درستی تعریف نشده باشد؛ درست مانند آنچه نتایج هماهنگی چندحالته نشان دادند.
  • سطح 2: دستیابی به اهداف میانی چه چیزی را اندازه می‌گیرد که موفقیت نهایی قادر به سنجش آن نیست؟ انتظار می‌رود: پیشرفت جزئی؛ بنابراین سیستمی که بخش عمده‌ی مسیر را طی کرده از سیستمی که در همان ابتدا شکست می‌خورد تفکیک می‌شود.
  • سطح 3: چگونه نرخ آلودگی را خودتان بررسی می‌کنید؟ انتظار می‌رود: تاریخ انتشار بنچ‌مارک را با تاریخ نهایی آموزش مدل مقایسه کنید، و در ارزیابی‌های خود بخشی از وظایف را از هرگونه مجموعه‌ی بهینه‌سازی و تنظیم دور نگه دارید.
  • سطح 3: امتیاز مقاله بدون ذکر منبع اصلی از سوی ارائه‌دهنده‌ی مدل گزارش شده است؛ با آن چگونه برخورد می‌کنید؟ انتظار می‌رود: آن را مقدماتی تلقی کنید و تا زمانی که یک اجرای مستقل آن را بازتولید نکرده است، بر اساس آن تصمیم عملیاتی نگیرید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اختلاف زیاد در یک بنچ‌مارک شناخته‌شده برای به‌کارگیری آن کافی است.» بدون تفکیک، خط مبنا، تعداد آزمایش‌ها و هزینه، این اختلاف فقط یک تیتر است، نه شواهد.
  • «رویکرد چندایجنتی همیشه در وظایف کدنویسی کمک می‌کند.» نتایج حوزه‌ی پزشکی و چندحالته دامنه‌هایی را نشان می‌دهند که چنین نبوده است؛ مزیت کدنویسی نیز به تفکیک و داربست وابسته است.
  • «بنچ‌مارک داخلی ما دقت بنچ‌مارک عمومی را ندارد.» بنچ‌مارک عمومی آگاهی‌بخش است، اما تنها بنچ‌مارک داخلی است که توزیع داده‌های محیط عملیاتی و محدودیت‌های هزینه‌ای شما را منعکس می‌کند.

کجای دوره آموزش داده می‌شود

در درس ارزیابی و بنچ‌مارک‌های هماهنگی پنج خانواده از بنچ‌مارک‌ها و چک‌لیست موشکافی فهرست شده‌اند.