سؤال مصاحبه

پنج رأی، یک مسیر، پنج برابر هزینه

Five votes, one path, five times the bill

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک دستیار ریاضی برای هر پرسش پنج مسیر استدلال نمونه‌برداری می‌کند و رأی اکثریت را مبنا قرار می‌دهد. دقت مدل در مقایسه با حالت تک‌مسیره هیچ تغییری نکرده، اما صورت‌حساب پنج برابر شده است. تیم برای تضمین بازتولیدپذیری (Reproducibility)، دما (Temperature) را روی صفر گذاشته بود. چه اتفاقی افتاده است، و پیش از آنکه این سازوکار رأی‌گیری را نگه دارید چه موارد دیگری را باید بررسی کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در دمای صفر نمونه‌ها باید کاملاً یکسان باشند، و فقط یک پشته‌ی سرویس‌دهی غیرقطعی ممکن است تفاوت‌های ناچیزی بین آن‌ها ایجاد کند؛ بنابراین این پنج مسیر عملاً همان یک مسیرند که پنج بار شمرده شده و رأی‌گیری تقریباً هیچ تأثیری ندارد. در این درس، نمونه‌برداری با دمای 0.7 انجام می‌شود تا مسیرها به اندازه‌ی کافی با هم فرق داشته باشند و خطاهایشان یکدیگر را خنثی کنند. سپس باید بررسی کنید که پاسخ نهایی در قالبی ثابت ارائه شود؛ زیرا بدون خطی مثل «The answer is» که در ادامه‌اش عدد بیاید، نمی‌توان آرا را با هم مقایسه کرد. همچنین باید مطمئن شوید دقت تک‌مسیره در محدوده‌ای باشد که رأی‌گیری اصلاً در آن کمکی می‌کند، یعنی حدود 60 تا 85 درصد.

پاسخ کامل

آنچه رأی‌گیری به آن نیاز دارد

سازوکار خودسازگاری (Self-Consistency) به این دلیل نتیجه می‌دهد که یک زنجیره‌ی منفرد ممکن است خطای استدلالی داشته باشد، اما بعید است زنجیره‌های مستقل دقیقاً همان خطا را تکرار کنند. این استقلال از نمونه‌برداری به دست می‌آید. حل‌کننده‌ی این درس یک پرامپت (Prompt) یکسان را N بار با دمای 0.7 اجرا می‌کند، عدد نهایی را از هر کدام بیرون می‌کشد، و بیشترین گزینه‌ی تکرارشده را برمی‌گزیند. سهم آرا همان میزان اطمینان (Confidence) است.

نقطه‌ی اثر و بازدهی کجاست؟

در آزمایش‌های اولیه روی یک مدل 540B، رأی‌گیری امتیاز ریاضی دبستان را از 56.5 درصد برای یک زنجیره به 74.4 درصد با 40 نمونه رساند. روی مدلی که خودش امتیاز 97 درصد می‌گیرد، رأی‌گیری فقط حدود یک درصد به دقت اضافه می‌کند. این تکنیک زمانی بیشترین صرفه را دارد که دقت تک‌زنجیره‌ای بین 60 تا 85 درصد باشد: یعنی خطاها مکرر رخ می‌دهند اما سیستماتیک نیستند.

چند نمونه؟

پنج نمونه بخش عمده‌ی مزیت این روش را پوشش می‌دهد. سه نمونه حداقلِ لازم برای یک رأی‌گیری معنادار است. بالاتر از ده نمونه، بازدهی کاهش می‌یابد؛ ضمن اینکه هر نمونه یک فراخوانی کامل مدل محسوب می‌شود. مدل‌های استدلالی خودشان در فرآیند درونی نمونه‌برداری می‌کنند، بنابراین رأی‌گیری در آن‌ها کمک چندانی نمی‌کند.

قید قالب‌بندی

پرامپت سیستم می‌خواهد که پاسخ نهایی در آخرین خط و با قالبی مشخص آورده شود. بدون این قید، بخش استخراج‌کننده چیزی برای مقایسه ندارد و رأی‌گیری روی متن آزاد عملاً نوفه (Noise) است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا دمای 0.7 و نه عددی خیلی بالاتر؟ پاسخ مورد انتظار: تصادفی بودن باید به اندازه‌ای باشد که مسیرهای متنوعی بسازد، اما نه آن‌قدر زیاد که خروجی مدل بی‌معنی و پرت شود.
  • سطح 2: پنج پاسخ چطور با هم مقایسه می‌شوند؟ پاسخ مورد انتظار: پرامپت یک خط نهایی با قالبی مشخص را تحمیل می‌کند و کد، عدد را از درون آن استخراج می‌کند؛ بدون این کار، رأی‌گیری چیزی برای شمردن ندارد.
  • سطح 3: چه زمانی رأی‌گیری ارزش پنج برابر شدن هزینه را دارد؟ پاسخ مورد انتظار: وقتی دقت تک‌زنجیره‌ای در محدوده‌ی 60 تا 85 درصد باشد؛ روی مدلی با دقت 97 درصد، این بهبود تنها حدود یک درصد است.
  • سطح 3: این درس چگونه رأی‌گیری را به یک تصمیم نهایی تبدیل می‌کند؟ پاسخ مورد انتظار: سهم آرا همان میزان اطمینان است؛ با توافق 4 رأی از 5 رأی، اطمینان 0.8، و تطابق با پاسخ قطعی (Deterministic)، جواب پذیرفته می‌شود؛ در غیر این صورت کار به جست‌وجوی درختی (Tree search) ارجاع داده می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دمای صفر رأی‌گیری را قابل‌اعتمادتر می‌کند.» این کار نمونه‌ها را یکسان یا تقریباً یکسان می‌کند؛ بنابراین عملاً هیچ رأی‌گیری واقعی شکل نمی‌گیرد.
  • «مثل مقاله از چهل نمونه استفاده کنید.» پنج نمونه بخش عمده‌ی مزیت را تأمین می‌کند و بالای ده نمونه بازدهی نزولی دارد؛ چهل نمونه هزینه‌ها را چندین برابر می‌کند اما دستاورد ناچیزی دارد.
  • «رأی‌گیری خطای سیستماتیک را برطرف می‌کند.» اگر بیشتر مسیرها مرتکب یک اشتباه مشترک شوند، اکثریت با اطمینان بالا اشتباه خواهد کرد؛ رأی‌گیری تنها خطاهای مستقل را خنثی می‌کند.

کجای دوره آموزش داده می‌شود

درس few-shot and chain-of-thought حل‌کننده‌ی مبتنی بر خودسازگاری را پیاده می‌کند، دما و قید قالب‌بندی را تنظیم می‌نماید و تعداد نمونه‌ها را تعیین می‌کند.