سؤال مصاحبه

سه کپی از یک مدل رای دادند و اکثریت در اشتباه بود

Three copies of one model voted, and the majority was wrong

  • سطح ۴: استف
  • مفهومی
  • ۱۵ دقیقه

پنج ایجنت (Agent) به یک سوال واقع‌محور پاسخ می‌دهند و رای‌گیری می‌کنند. سه تای آن‌ها از یک مدل پایه‌ی یکسان استفاده می‌کنند و روی یک پاسخ نادرست هم‌نظرند، در حالی که دو ایجنت دیگر پاسخ درست را داده‌اند. رای‌گیری اکثریت پاسخ غلط را انتخاب می‌کند. یکی از همکارانتان می‌گوید اجماع کلاسیکِ تحمل‌پذیر خطا (Classical fault-tolerant consensus) این مسئله را حل می‌کند. توضیح دهید چرا این‌طور نیست، کدام فرضیات نقض می‌شوند، و پروتکل‌های جدیدِ ویژه‌ی ایجنت‌ها چه تغییری در این سازوکار ایجاد می‌کنند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اجماع کلاسیک رفتارهای دلخواه و خودسرانه‌ی کمتر از یک‌سوم گره‌ها را تاب می‌آورد و فرض را بر این می‌گذارد که خطاها مستقل (Independent) هستند، گره‌های صادق پاسخ درست می‌دهند و یک حقیقت پایه (Ground truth) وجود دارد. سه ایجنت با مدل پایه‌ی مشترک، خطاهای مشترک هم دارند؛ یک مدل صادق هم دچار توهم می‌شود، و در برخی سوالات اصلاً خودِ ایجنت‌ها حقیقت را تعریف می‌کنند. راهکارهای ویژه‌ی ایجنت‌ها وزن هر رای را با یک آزمون ارزیابی اطمینان (Confidence Probe) می‌سنجند، پیشنهادهای بدون لیدر را با میانه‌ی هندسی (Geometric Median) تجمیع می‌کنند، یا ایجنت‌ها را با وزن‌های اعتمادی که بر اساس سوابق یاد گرفته‌اند به دو بخش هسته و حاشیه تقسیم می‌کنند. هیچ‌کدام از این روش‌ها توافق را معادل درستی پاسخ نمی‌کند، بنابراین خروجی اجماع همچنان باید به یک مدل اعتبارسنج (Verifier) مستقل سپرده شود.

پاسخ کامل

پروتکل کلاسیک چه چیزی ارائه می‌دهد و چه فرضیاتی دارد

پروتکل استاندارد زمانی میان n گره روی یک مقدار به توافق می‌رسد که تعداد گره‌های خطاکار کمتر از یک‌سوم n باشد؛ یعنی حداقل به 3f + 1 گره نیاز دارد. این فرایند طی سه مرحله با پیام‌های امضاشده و گواهی‌های حد نصاب (Quorum certificates) اجرا می‌شود. سه فرض بنیادین این پروتکل عبارت‌اند از:

  1. خطاها مستقل هستند، بنابراین گره‌های خطاکار با یکدیگر تبانی و هماهنگی نمی‌کنند.
  2. گره‌های صادق پاسخ درست می‌دهند، در نتیجه کار پروتکل صرفاً رفع اختلاف‌نظرها و هم‌راستا کردن است.
  3. مسئله دارای یک حقیقت پایه است، پس توافق روی یک مقدار نادرست همچنان نوعی توافق به شمار می‌رود.

ایجنت‌های مبتنی بر مدل، هر سه فرض را نقض می‌کنند. ایجنت‌هایی که از یک مدل پایه استفاده می‌کنند، خطای همبسته (Correlated error) دارند. یک ایجنت صادق دچار توهم می‌شود. و در مواجهه با یک سوال مبهم، خود ایجنت‌ها تعیین می‌کنند چه چیزی درست است.

سه حمله‌ای که از سد بررسی امضا عبور می‌کنند

حمله چه اتفاقی می‌افتد آیا پروتکل کلاسیک از پس آن برمی‌آید؟
دروغ عمدی یک ایجنت با اطمینان بالا یک پاسخ اشتباه صادر می‌کند بله، تا زمانی که تعداد دروغگوها کمتر از یک‌سوم باشد
همرنگی چاپلوسانه (Sycophantic Conformity) یک ایجنت پاسخ‌های بقیه را می‌خواند و خودش را با آخرین نفری که صحبت کرده هماهنگ می‌کند خیر، چون ایجنت تمام بررسی‌ها را با موفقیت پشت سر می‌گذارد
تک‌محصولی همبسته (Correlated monoculture) سه ایجنت مبتنی بر یک مدل مشخص، روی پاسخی یکسان توهم می‌زنند خیر، چون هر سه صادقانه با هم توافق دارند

مسئله‌ی مطرح‌شده در پرامپت (Prompt) دقیقاً حالت سوم است.

راهکارهای ویژه‌ی ایجنت‌ها

  • رای‌گیری وزن‌دهی‌شده بر اساس اطمینان. هر رای‌دهنده یک آزمون ارزیابی اطمینان (یا به‌صورت خوداظهاری یا از یک مدل کالیبراسیون (Calibration)) ضمیمه می‌کند و وزن رای متناسب با آن تغییر می‌کند. این درس از بهبود چشمگیر نتایج در گراف‌های کاملاً متصل خبر می‌دهد. این روش بیشترین تاثیر را در برابر همرنگی دارد؛ زیرا ایجنتی که موضعی را بدون استنتاج شخصی پذیرفته باشد، معمولاً میزان اطمینان پایینی گزارش می‌کند.
  • تجمیع بدون لیدر با میانه‌ی هندسی. ایجنت‌های مجری (Workers) به‌صورت موازی پیشنهاد می‌دهند، ارزیاب‌ها به پیشنهادها امتیاز می‌دهند و پاسخ نهایی برابر با میانه‌ی هندسی مواضع امتیازدهی‌شده خواهد بود. این روش تا زمانی که نسبت خطاکاران کمتر از نصف باشد مقاوم است، در برابر داده‌های پرت مقاومت می‌کند و به جای میانگینِ سوگیرانه‌ی مدل، به سمت خوشه‌ی متراکم متمایل می‌شود.
  • رای‌گیری وزن‌دهی‌شده با ساختار هسته و حاشیه. وزن‌ها بر اساس کیفیت پاسخ و نمره‌ی اعتمادی تعیین می‌شوند که از تاریخچه‌ی عملکرد یاد گرفته شده است. ابتدا یک هسته‌ی کوچک به توافق می‌رسد و بخش حاشیه از آن تبعیت می‌کند؛ این کار تاخیر (Latency) را مهار می‌کند و اجازه می‌دهد هسته را با هدف ایجاد تنوع انتخاب کنیم.

چرخه‌ی ساده‌شده‌ی اجماع

هر ایجنت یک پاسخ و یک نمره‌ی اطمینان تولید می‌کند. تجمیع‌کننده (Aggregator) پاسخ‌ها را در خوشه‌های معنایی دسته‌بندی می‌کند تا دو بیان مختلف از یک مقدار واحد با هم شمرده شوند، اطمینان هر خوشه را جمع می‌زند و خوشه‌ی برتر را فقط زمانی می‌پذیرد که سهم آن از یک آستانه (Threshold) فراتر رود. اگر سهم به آستانه نرسد، چرخه دوباره تکرار می‌شود یا مسئله به سطوح بالاتر ارجاع می‌یابد. بازه‌ی عملیاتی مناسب برای این آستانه در این درس، 0.5 تا 0.67 با پنج تا هفت ایجنت است. خوشه‌های اقلیت همراه با منشأ و سندیت (Provenance) ثبت می‌شوند؛ چرا که زنگ خطری زودهنگام برای خطاهای همبسته به حساب می‌آیند.

آماری که خیالمان را راحت نمی‌گذارد

این درس به مطالعه‌ای درباره‌ی توافق اسکالر میان مدل‌های پیشرو (Frontier Models) ارجاع می‌دهد: حتی بدون وجود هیچ مهاجمی، ایجنت‌ها در بسیاری از بنچمارک‌ها در بیش از 30 درصد موارد روی سوالات اسکالر اختلاف نظر داشتند؛ علاوه بر این، حضور یک ایجنت با پرسونای فریبکار توانست اجماع حاصل از ترکیب ایجنت‌ها را بیش از 40 واحد درصد نسبت به خط مبنای (Baseline) صادقانه منحرف کند. ابزارهای اجماع صرفاً خروجی‌ها را هم‌راستا می‌کنند؛ به شما نمی‌گویند خروجی هم‌راستاشده لزوماً درست است یا نه.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: آیا میانه‌ی هندسی این مسئله را نجات می‌دهد؟ انتظار می‌رود: خیر. میانه‌ی هندسی داده‌های پرت را نادیده می‌گیرد و به سمت خوشه‌ی متراکم حرکت می‌کند، که این ویژگی تنها زمانی کارساز است که خوشه‌ی نادرست کمتر از نصف آرا را داشته باشد. اینجا سه رای از پنج رای غلط هستند، بنابراین خوشه‌ی متراکم همان خوشه‌ی غلط است و میانه هم آن را انتخاب می‌کند.
  • سطح 3: سه ایجنتِ اشتباه اتفاقاً بیشترین اطمینان را هم دارند. حالا چه کنیم؟ انتظار می‌رود: هیچ تجمیع‌کننده‌ای نمی‌تواند خوشه‌ی غلطی را که هم بزرگ‌تر است و هم اطمینان بیشتری دارد اصلاح کند؛ بنابراین سیستم به تنوع در مدل‌های پایه یا یک مدل اعتبارسنج مستقل نیاز دارد.
  • سطح 4: چرا تعداد چرخه‌ها را به دو یا سه دور محدود می‌کنیم؟ انتظار می‌رود: ایجنت‌هایی که دورهای قبلی را می‌بینند، بدون توجه به حقیقت شروع به تقلید از یکدیگر می‌کنند؛ پس چرخه‌های بیشتر صرفاً رفتارهای مبتنی بر همرنگی را تشویق می‌کند.
  • سطح 4: در محیط عملیاتی (Production) چه مواردی را مانیتور می‌کنید؟ انتظار می‌رود: نرخ توافق—که جهش ناگهانی آن نشانه‌ی همرنگی و افت ناگهانی آن نشانه‌ی دریفت (Drift) مدل است—و همچنین خوشه‌های اقلیت به همراه منشأ و سندیت آن‌ها.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از پروتکل کلاسیک با حد نصاب دوسومی استفاده کنید.» سه ایجنت صادق که دچار توهم مشترک شده‌اند، حد نصاب را تشکیل می‌دهند و پروتکل روی یک مقدار اشتباه به توافق می‌رسد.
  • «آن‌قدر کپی از همان مدل اضافه کنید تا اکثریت درست بگویند.» کپی‌های بیشتر از یک مدل، آرای همبسته‌ی بیشتری به همراه می‌آورند و خوشه‌ی اشتباه نیز همراه با آن‌ها بزرگ‌تر می‌شود.
  • «اجماع یعنی پاسخ درست است.» توافق و درستی دو سنجه‌ی کاملاً متفاوت هستند؛ خروجیِ حاصل از اجماع حتماً به یک مدل اعتبارسنج نیاز دارد که کاملاً مستقل از این مجموعه باشد.

کجای دوره آموزش داده می‌شود

در درس اجماع و تحمل‌پذیری خطا حداقل‌های این پروتکل پیاده‌سازی شده و عملکرد آن در برابر سه حمله‌ی مذکور با سه تجمیع‌کننده بررسی می‌شود.