سؤال مصاحبه

پنج ایجنت و یک رأی‌گیری پاسخ‌ها را خراب‌تر کرد

Five agents and a vote made the answers worse

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

تیمی برای حل یک مسئله‌ی پاسخ‌دهی به سؤالات (question-answering)، ساختار گروهی (ensemble) پیاده کردند: پنج ایجنت از یک مدل یکسان آن‌قدر با هم مناظره می‌کنند تا به توافق برسند و بعد پاسخ نهایی را بدهند. اما در عمل، دقت سیستم از یک ایجنت تکی هم کمتر شد. حالا تصمیم دارند تعداد ایجنت‌ها را بیشتر کنند. کجای کار ایراد دارد و اولین تغییر شما چه خواهد بود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مفید بودن مناظره به ساختار آن بستگی دارد، نه به تعداد ایجنت‌ها: چه کسی با چه کسی گفتگو می‌کند، مناظره چند دور طول می‌کشد، آیا ایجنت‌ها با هم متفاوتند، و آیا کسی نقش مخالف را بازی می‌کند یا نه. وقتی پنج نسخه از یک مدل را به کار می‌گیرید، همگی خطاهای مشترکی دارند؛ بنابراین رأی‌ها همبستگی پیدا می‌کنند و مناظره تا رسیدن به توافق، به خاطر پدیده‌ی همرنگ جماعت شدن (conformity)، به نفع ایجنتی تمام می‌شود که با اعتماد‌به‌نفس بیشتری صحبت می‌کند. پیش از دست زدن به تعداد، ترکیب را اصلاح کنید: کار را با خودسازگاری (Self-Consistency) روی یک مدل قوی شروع کنید، سپس یکی از ایجنت‌ها را با یک مدل پایه‌ی دیگر جایگزین کنید، تعداد دورها را به دو یا سه دور محدود سازید و یک قاضی بدون حق رأی اضافه کنید.

پاسخ کامل

خط مبنایی که نادیده گرفته شد

روش خودسازگاری، از یک مدل یکسان با دمای (temperature) بیشتر از صفر چندین بار نمونه‌گیری می‌کند و با رأی اکثریت، بهترین مسیر استدلال را برمی‌گزیند. در مجموعه‌داده‌ی ریاضی دبستان، این روش با 40 نمونه‌گیری، بهبود چشمگیری نسبت به یک بار رمزگشایی حریصانه (greedy decode) نشان داد. محدودیت این روش آن است که خطاهای یک مدل، ذاتاً همبستگی دارند؛ سوگیری نظام‌مند در تک‌تک نمونه‌ها وجود دارد. آنسامبل این تیم هم در واقع همان خودسازگاری است، فقط با هزینه‌ی هماهنگی بیشتر.

اهرم اصلی: ناهمگنی

جایگزین کردن یکی از ایجنت‌ها با یک مدل پایه‌ی دیگر، تأثیر بسیار بیشتری نسبت به افزودن یک کپی دیگر دارد. هر منبع خطای مستقل، ارزش بسیار بالاتری از یک نمونه‌ی همبسته‌ی تکراری دارد. در نهایت، روی وظایفی که حقیقت پایه‌ی (ground truth) مشخصی دارند، سه مدل متفاوت عملکرد بهتری نسبت به پنج نسخه‌ی یکسان ثبت می‌کنند. در ادبیات فنی، ساختاری که بر این ایده تکیه دارد «مناظره ناهمگن خصمانه» (adversarial heterogeneous debate) نامیده می‌شود: مدل‌های متفاوت، که یکی از آن‌ها نقش مخالفت را بر عهده می‌گیرد.

تعداد دورها و همرنگ جماعت شدن

مناظره می‌تواند دقت را کاهش هم بدهد. ایجنت‌ها موضع خود را با یک ناقد (critic) هماهنگ می‌کنند؛ حتی وقتی آن ناقد در اشتباه باشد. از طرفی، مناظره تا زمان رسیدن به توافق، پاداش را به کسی می‌دهد که محکم‌تر نظرش را push می‌کند. تعداد دورها را محدود کنید (دو تا سه دور معمول است) و تصمیم نهایی را به قاضی مستقلی بسپارید که فقط میزان اجماع را ارزیابی می‌کند و خودش رأی نمی‌دهد. بررسی استراتژی‌های مناظره نشان داد ساختارهایی که از نظر فرم شبیه به خودسازگاری هستند، با بودجه‌ی یکسان معمولاً ضعیف‌تر از آن نتیجه می‌دهند؛ مناظره زمانی بیشترین بازدهی را دارد که ایجنت‌ها ناهمگن باشند و ساختار مناظره حالت خصمانه داشته باشد.

توپولوژی و مالیات هماهنگی

توپولوژی بهترین کاربرد
گراف، ارتباط همه‌به‌همه پژوهش و کارهای تحقیقاتی، جایی که ایجنت‌ها یکدیگر را نقد می‌کنند
ستاره‌ای، با یک هاب مرکزی یکپارچه‌سازی سریع نودها برای پاسخ‌های مبتنی بر واقعیت
زنجیره‌ای بهبود و تصحیح گام‌به‌گام

در توپولوژی گراف، اگر تعداد ایجنت‌ها از حدود 4 فراتر رود، مالیات هماهنگی (coordination tax) خود را نشان می‌دهد: زمان واقعی (wall-clock) و مصرف توکن‌ها با سرعتی بسیار بیشتر از کیفیت رشد می‌کنند، چون پنجره‌ی هر ایجنت با خروجی تک‌تک طرف‌های ارتباط (peers) پر می‌شود. این سقف یک مشاهده‌ی تجربی و وابسته به گنجایش پنجره‌ی زمینه‌ی مدل‌های فعلی است، نه یک محدودیت بنیادین.

مراحلی برای سنجش دقیق هر گام

  1. پیاده‌سازی خودسازگاری با پنج نمونه روی یک مدل قوی. این کار خط مبنای ارزان شماست.
  2. رأی‌گیری ناهمگن با سه ایجنت، در صورتی که دقت مسئله اهمیت دارد. میزان تغییرات را بسنجید.
  3. ورود به فاز مناظره فقط زمانی که وظیفه ساختارمند است و امکان محدود کردن دورها وجود دارد.
  4. ثبت مداوم دسته‌ی اقلیت. اقلیتی که همیشه درست می‌گوید، نشانه‌ی وجود تنوع فکری مفید است.
  5. گزارش توکن‌ها و زمان واقعی در کنار دقت؛ چرا که دستیابی به دقت بالاتر با ده برابر هزینه، یک تصمیم‌گیری تجاری به حساب می‌آید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا اضافه کردن ششمین نسخه از همان مدل کمکی نمی‌کند؟ پاسخ مورد انتظار: چون فقط یک نمونه‌ی همبسته‌ی دیگر اضافه می‌کند و سوگیری مشترک آن‌ها یک رأی بیشتر می‌آورد.
  • سطح 2: قاضی چه کاری انجام می‌دهد که رأی‌دهندگان از پس آن برنمی‌آیند؟ پاسخ مورد انتظار: قاضی اجماع نهایی را بدون این‌که قبلاً موضعی گرفته باشد ارزیابی می‌کند؛ در نتیجه، فشارِ همرنگ جماعت شدن روی آن اثری ندارد.
  • سطح 3: چه زمانی خودسازگاریِ ساده پاسخ نهایی و ایده‌آل است؟ پاسخ مورد انتظار: در وظایف ساده با حقیقت پایه‌ی مشخص، که در آن‌ها پنج نمونه از یک مدل قوی همان دقت آنسامبل‌های دیگر را با هزینه‌ای بسیار کمتر فراهم می‌کند.
  • سطح 3: اگر مسئله مبتنی بر سلیقه و نظر باشد، رأی‌گیری چه نتیجه‌ای می‌دهد؟ پاسخ مورد انتظار: ایجنت‌ها به جای درست‌ترین پاسخ، روی پاسخی که با اعتمادبه‌نفس بیشتری بیان شده همگرا می‌شوند؛ پس این رأی‌گیری عملاً یک نظرسنجی است و باید با همین عنوان برچسب بخورد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «آن‌قدر ایجنت اضافه کنید تا نتیجه‌ی رأی‌گیری تثبیت شود.» رأی اشتباهی که پایدار و تثبیت‌شده باشد همچنان اشتباه است؛ علاوه بر این، در توپولوژی گراف با گذشتن از مرز حدود 4 ایجنت، هزینه بسیار سریع‌تر از کیفیت بالا می‌رود.
  • «بگذارید آن‌قدر مناظره کنند تا توافق حاصل شود، چون توافق نشانه‌ی اطمینان است.» مناظره‌ی بی‌پایان به همرنگ جماعت شدن پاداش می‌دهد و جوابی که روی آن توافق می‌شود، پاسخی است که بلندتر بیان شده، نه لزوماً پاسخ درست.
  • «برای ایجاد تنوع، از همان مدل با دماهای مختلف خروجی بگیرید.» این کار همان خودسازگاری است و سوگیری نظام‌مندِ مدل در همه‌ی دماها باقی می‌ماند.

کجای دوره آموزش داده می‌شود

در درس توپولوژی رأی‌گیری و مناظره، پیاده‌سازی این چهار توپولوژی و نحوه‌ی اندازه‌گیری مالیات هماهنگی را بررسی می‌کنیم.