سؤال مصاحبه

بررسی تجمیع‌کننده‌های آرا و یافتن نقطه‌ی کور

Read the vote aggregators and find the blind spot

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۲ دقیقه

کد خوشه‌بندی (clustering) و تجمیع‌کننده‌ی اکثریت نسبی (plurality aggregator) را از درس اجماع بررسی کنید. پنج ایجنت (agent) درباره‌ی درصدی برگرفته از یک پژوهش رأی می‌دهند. سه ایجنت که مدل پایه‌ی یکسانی دارند پاسخ 42% را می‌دهند و دو ایجنت پاسخ 4.2% را برمی‌گردانند. میزان اطمینان هر یک از آن دو ایجنت بیشتر از تک‌تک آن سه ایجنت است، اما مجموع اطمینان آن سه ایجنت در کل بالاتر است. مشخص کنید تجمیع‌کننده‌ی اکثریت نسبی چه پاسخی برمی‌گرداند، تجمیع‌کننده‌ای که آرا را بر اساس میزان اطمینان وزن‌دهی می‌کند چه خروجی‌ای دارد، و فرایند استانداردسازی (canonicalization) با پاسخ 4.2 percent چگونه برخورد می‌کند.

@dataclass
class Vote:
    agent: str
    answer: str
    confidence: float

    def canonical(self) -> str:
        return "".join(c for c in self.answer.lower().strip() if c.isalnum() or c == "." or c == "%")


def plurality(votes: list[Vote]) -> tuple[str, dict[str, int]]:
    counts: dict[str, int] = {}
    rep: dict[str, str] = {}
    for v in votes:
        key = v.canonical()
        counts[key] = counts.get(key, 0) + 1
        rep.setdefault(key, v.answer)
    winner_key = max(counts, key=counts.get)
    return rep[winner_key], counts

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اکثریت نسبی سه رأی برای 42% و دو رأی برای 4.2% می‌شمارد و پاسخ اشتباه را برمی‌گرداند؛ چون فقط هدها (heads) را می‌شمارد و خوشه‌ی اشتباه هدهای بیشتری دارد. تجمیع‌کننده‌ی مبتنی بر وزنِ اطمینان، میزان اطمینان اعضای هر خوشه را جمع می‌زند و سهم خوشه‌ی برتر را با یک آستانه (threshold) می‌سنجد. خوشه‌ی اشتباه مجموع اطمینان بزرگ‌تری دارد؛ بنابراین با آستانه‌ی 0.5 این روش هم پاسخ 42% را برمی‌گرداند و با آستانه‌ای بالاتر ممکن است هیچ برنده‌ای اعلام نکند. تابع استانداردسازی حروف، ارقام، نقطه و علامت درصد را نگه می‌دارد؛ در نتیجه 4.2 percent تبدیل به 4.2percent می‌شود و در خوشه‌ای مجزا از 4.2% قرار می‌گیرد که این اتفاق آرای پاسخ درست را می‌شکند.

پاسخ کامل

عملکرد کد

تابع canonical پاسخ را به حروف کوچک تبدیل می‌کند، فاصله‌های ابتدا و انتها را حذف می‌کند و کاراکترهای حرفی‌عددی، نقطه و علامت درصد را نگه می‌دارد. این روش در واقع همان خوشه‌بندی معنایی (semantic clustering) تقریبیِ این درس است. تابع plurality تعداد تکرار هر کلید استاندارد را می‌شمارد، اولین پاسخ اصلی مربوط به هر کلید را به‌عنوان نماینده‌ی آن نگه می‌دارد، و در نهایت کلیدی را که بیشترین رأی را آورده برمی‌گرداند.

حالت تک‌محصولی

تجمیع‌کننده قاعده نتیجه در این سناریو
اکثریت نسبی بیشترین رأی اشتباه؛ چون سه رأی همبسته بر دو رأی غلبه می‌کنند
وزن‌دهی‌شده با اطمینان مجموع اطمینان در هر خوشه؛ سهم خوشه‌ی برتر باید از سهم آستانه بگذرد اشتباه؛ چون سه رأی در مجموع اطمینان بالاتری دارند، یا در صورتی که سهم خوشه زیر آستانه باشد «بدون برنده»
شبیه به میانه‌ی هندسی امتیازدهی به هر خوشه بر اساس اندازه و میزان انسجام اطمینان‌های آن اشتباه؛ چون خوشه‌ی سه‌تایی بزرگ‌تر است و میزان اطمینان اعضایش هم منسجم است

نکته‌ی کلیدی خودِ این درس دقیقاً همین محدودیت است: هیچ تجمیع‌کننده‌ای نمی‌تواند مسئله‌ی خوشه‌ی اشتباهی را حل کند که هم بزرگ‌تر است و هم اطمینان بیشتری دارد. چنین شرایطی به تنوع مدل‌ها یا اعتبارسنجی نیاز دارد، نه سازوکار رأی‌گیریِ بهتر.

نقطه‌ی کور استانداردسازی

دو ایجنت که منظور یکسانی دارند ممکن است در دو خوشه‌ی جداگانه بیفتند. عبارات 4.2% و 4.2 percent پس از استانداردسازی متفاوت خواهند بود؛ همین وضعیت برای four point two percent هم پیش می‌آید. هر شکستگی در خوشه‌ی درست، به نفع خوشه‌ی اشتباه تمام می‌شود. در محیط عملیاتی (production)، اعداد را همراه با واحدهایشان به یک فرم یکپارچه استانداردسازی کنید، یا سراغ خوشه‌بندی بر اساس شباهت امبدینگ (embedding) بروید؛ همچنین کلید استاندارد را در کنار پاسخ اصلی در لاگ ذخیره کنید تا بازبین متوجه شود چه زمانی انشعاب رخ داده است.

منشأ این دو درصد

مقدارهای این سناریو همان عددهای مسموم‌سازی حافظه در درس حافظه‌ی مشترک هستند: یک صفحه می‌گوید 4.2 درصد و یک ایجنت بازیابی (retrieval) عدد 42 درصد را می‌نویسد. درس اجماع دوباره از آن‌ها استفاده می‌کند تا رأی‌گیری روی ادعایی با منبع مشخص انجام شود؛ همین موضوع امکان بررسی توسط یک مدل اعتبارسنج (verifier) را پس از رأی‌گیری فراهم می‌کند.

مواردی که کد اکثریت نسبی قادر به دیدنشان نیست

این روش ابداً نمی‌داند کدام ایجنت‌ها مدل پایه‌ی مشترک دارند، هیچ اطمینانی را در نظر نمی‌گیرد و منبع را هم نمی‌شناسد. این کد صرفاً پاسخی را که بیشترین رأی را آورده تحویل می‌دهد و بررسی نمی‌کند که آیا رأی‌دهندگان مستقل یا دقیق بوده‌اند یا نه. مستقل‌بودن، احتمالِ درست‌بودنِ اکثریت را بالا می‌برد اما آن را تضمین نمی‌کند؛ از طرفی سه ایجنت پرامپت از یک مدل پایه استفاده می‌کنند، پس خطاهایشان همبسته است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تابع plurality مقدار rep را نگه می‌دارد؟ پاسخ مورد انتظار: برای اینکه بتواند متن پاسخ اصلی را برای کلید برنده برگرداند؛ زیرا کلید استاندارد صرفاً قالبی برای مقایسه است، نه پاسخی که باید نمایش داده شود.
  • سطح 3: اگر در رأی‌گیری وزن‌دار هیچ خوشه‌ای به سهم آستانه نرسد، خروجی چیست؟ پاسخ مورد انتظار: هیچ برنده‌ای اعلام نمی‌شود (به‌همراه وزن‌ها)، تا فراخواننده به‌جای پذیرفتن اکثریتی ضعیف، عملیات را دوباره امتحان کند یا آن را به سطوح بالاتر ارجاع دهد.
  • سطح 4: در حالت بله‌قربان‌گویی (sycophancy): دو ایجنت پاسخ اولی را که دیده‌اند با اطمینان پایینی کپی می‌کنند. کدام تجمیع‌کننده متوجه این مشکل می‌شود و چرا؟ پاسخ مورد انتظار: روش وزن‌دهی‌شده با اطمینان؛ چون کپی‌کننده‌ها وزن ناچیزی دارند، در حالی که اکثریت نسبی آن‌ها را رأی کامل به‌حساب می‌آورد.
  • سطح 4: جایگزین تابع canonical را چطور تست می‌کنید؟ پاسخ مورد انتظار: با جدولی از جفت‌پاسخ‌هایی که حتماً باید در یک خوشه قرار بگیرند و جفت‌هایی که نباید هم‌خوشه شوند (شامل انواع نمایش واحدها و اعدادی که با حروف نوشته شده‌اند) که به‌صورت تست واحد (unit test) اجرا شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اکثریت نسبی تا زمانی که دست‌کم پنج ایجنت داشته باشیم خوب کار می‌کند.» سه ایجنت با یک مدل مشترک، در هر تعدادی تا وقتی بیش از نصف باشند اکثریت را تشکیل می‌دهند و شمارش ساده هیچ‌وقت این همبستگی را نمی‌بیند.
  • «استانداردسازی کافی است چون بزرگی و کوچکی حروف و فاصله‌ها را مدیریت می‌کند.» این تابع 4.2% را از 4.2 percent جدا می‌کند و هر شکستگی در خوشه‌ی درست، عملاً یک رأی به نفع خوشه‌ی اشتباه است.
  • «اطمینان بالاتر یعنی پاسخ درست‌تر؛ پس بر اساس آن وزن بدهید و کار تمام است.» وزن‌دهی جلوی همرنگ‌شدن ناشی از اطمینان پایین را می‌گیرد، اما وقتی خوشه‌ی اشتباه خودش هم مطمئن باشد، هیچ اثری ندارد.

کجای دوره آموزش داده می‌شود

این تجمیع‌کننده‌ها در درس اجماع و تحمل خطا ارائه شده‌اند و درس حافظه‌ی مشترک منشأ هر دو درصد است.