نظارت مقیاس‌پذیر و تعمیم ضعیف به قوی (W2SG)

بیشتر روش‌های سنتی هم‌ترازی (Alignment) فرض می‌کنند ناظر انسانی می‌تواند خروجی مدل را ارزیابی و قضاوت کند. اما زمانی که مدل‌های زبانی به سطوح تخصصی و فرابشری برسند، انسان دیگر نمی‌تواند درستی تک‌تک استدلال‌ها و کدهای پیچیده را بسنجد؛ در این سناریو ناظر به حلقه‌ی ضعیف زنجیره تبدیل می‌شود.

این درس به مسئله‌ی نظارت مقیاس‌پذیر (Scalable Oversight) و تعمیم ضعیف به قوی (Weak-to-Strong Generalization یا W2SG) می‌پردازد. این دو چارچوب نشان می‌دهند چگونه می‌توان با ترکیب سازوکارهایی مانند مناظره (Debate) یا تجزیه‌ی وظیفه، از مدل‌های ضعیف‌تر برای هدایت و ترازسازی مدل‌های قدرتمندتر استفاده کرد، بدون اینکه سقف عملکرد مدل پیشرفته نابود شود.

برنز و همکاران (تیم سوپرالاینمنت OpenAI، مقاله‌ی «تعمیم از ضعیف به قوی»، 2023) مسئله‌ی جایگزینی برای ابرترازسازی (superalignment) پیشنهاد کردند: فاین‌تیونینگ یک مدل قوی با استفاده از برچسب‌های تولیدشده توسط یک مدل ضعیف‌تر. اگر مدل قوی بتواند از نظارت ناقص و ضعیف به‌درستی تعمیم پیدا کند، شاید روش‌های فعلی هم‌ترازی که در مقیاس توانایی انسان هستند، برای سیستم‌های فراتر از هوش انسانی هم جواب بدهند. نظارت مقیاس‌پذیر (scalable oversight) و W2SG مکمل یکدیگرند. نظارت مقیاس‌پذیر (مناظره، مدل‌سازی بازگشتی پاداش، تجزیه‌ی وظیفه) توانایی مؤثر ناظر را بالا می‌برد تا همگام با مدل تحت نظارت پیش برود. W2SG هم تضمین می‌کند مدل قوی از همان نظارت ناقصی که ناظر فراهم کرده، تعمیم درستی به دست آورد. مقاله‌ی «مناظره به W2SG کمک می‌کند» (arXiv:2501.13124، ژانویه 2025) این دو رویکرد را ترکیب کرده است.

اهداف یادگیری

• تعریف نظارت مقیاس‌پذیر و تعمیم ضعیف به قوی (weak-to-strong generalization یا W2SG) و توضیح چرایی مکمل بودن آن‌ها.
• تشریح چیدمان آزمایشی برنز و همکاران در سال 2023: فاین‌تیونینگ GPT-4 با برچسب‌های GPT-2.
• توضیح معیار «شکاف عملکرد جبران‌شده» (performance gap recovered یا PGR) و آنچه اندازه‌گیری می‌کند.
• بیان سه سازوکار اصلی نظارت مقیاس‌پذیر (مناظره، مدل‌سازی بازگشتی پاداش، تجزیه‌ی وظیفه) به همراه یک نقطه‌ی قوت برای هر کدام.

صورت مسئله

تمام تکنیک‌های هم‌ترازی که تا اینجای فاز 18 دیدیم، فرض را بر این می‌گذارند که ناظر توانایی ارزیابی رفتار مدل را دارد. وقتی مدل به سطح فرابشری برسد، ناظر به حلقه‌ی ضعیف زنجیره تبدیل می‌شود. پرسش اصلی ابرترازسازی این است: آیا یک ناظر ضعیف‌تر می‌تواند مدلی قوی‌تر و در عین حال هم‌تراز بسازد؟

برنز و همکاران این مسئله را به یک سناریوی تجربی و عملیاتی تبدیل کردند: نظارت بر مدل قوی با مدل ضعیف، و اندازه‌گیری این‌که چه مقدار از توانایی مدل قوی پس از نظارت ضعیف پابرجا می‌ماند. این کار راه‌حل نهایی ابرترازسازی نیست؛ صرفاً مقیاسی جایگزین است تا بتوانیم پیشرفت را بسنجیم.

مفاهیم کلیدی

W2SG: چیدمان آزمایشی برنز و همکاران

• مدل ضعیف: در رده‌ی GPT-2.
• مدل قوی: در رده‌ی GPT-4.
• هدف نهایی: سقف عملکرد مدل قوی GPT-4 روی همان وظیفه.

مراحل کار:

1. پیش‌بینی‌های مدل ضعیف را به‌صورت صفر-نمونه (zero-shot) روی یک وظیفه به دست آورید.
2. مدل قوی را روی داده‌های برچسب‌گذاری‌شده توسط مدل ضعیف فاین‌تیون کنید.
3. دقت مدل قویِ فاین‌تیون‌شده را اندازه بگیرید.

خطوط مبنا (baselines): دقت خود مدل ضعیف، و سقف عملکرد مدل قوی با نظارت کامل روی برچسب‌های مرجع (gold labels).

معیار شکاف عملکرد: شکاف عملکرد جبران‌شده (Performance Gap Recovered یا PGR) برابر است با: (فاین‌تیون‌شده - ضعیف) / (سقف - ضعیف). مقدار PGR برابر با 1.0 یعنی نظارت ضعیف توانسته کل این شکاف را پر کند؛ مقدار 0 هم نشان می‌دهد نظارت ضعیف هیچ کمکی نکرده است.

یافته‌های تجربی برنز و همکاران

در سراسر وظایف پردازش زبان طبیعی (NLP)، معماهای شطرنج و مدل‌سازی پاداش، مقدار PGR همواره مثبت بود: مدل قوی فراتر از اشتباهات ناظر ضعیف خود تعمیم پیدا کرد. مقدار PGR بسته به نوع وظیفه بین حدود 20% تا 80% متغیر بود. مدل قوی وظیفه‌ی مورد نظر را از روی همان برچسب‌های ناقص «درک می‌کند» و جاهای خالی را با دانش پیشین (prior) حاصل از پیش‌آموزش خود پر می‌سازد.

محدودیت‌هایی که برنز و همکاران به آن‌ها اشاره کرده‌اند:

• این شکافِ ضعیف به قوی، ناشی از اختلاف در توانمندی است نه در تراز بودن. مدل ضعیف خودش هم‌تراز است؛ در حالی که یک مدل فرابشری واقعی شاید باید توسط انسان هم‌تراز شود، آن هم با شکاف توانمندیِ به‌مراتب بزرگ‌تر.
• تعمیم مدل قوی ممکن است بیشتر ناشی از دانش پیشین آن درباره‌ی وظیفه باشد تا کشف نیت (intent) واقعی پشت برچسب‌ها.
• چالش واقعی، بیرون کشیدن دانش نهفته‌ی مدل قوی است؛ PGR فقط یک روش پیاده‌سازی خاص را می‌سنجد.

نظارت مقیاس‌پذیر: سه سازوکار اصلی

• مناظره (Debate - ایروینگ و همکاران، 2018): دو نسخه از مدل U بر سر دو دیدگاه مخالف استدلال می‌کنند؛ داور ضعیف برنده را مشخص می‌کند. فرض بنیادی این است: پیدا کردن پاسخی قانع‌کننده و درست آسان‌تر از سرهم کردن پاسخی قانع‌کننده اما نادرست است. کارهای جدیدتر در سال‌های 2024 و 2025 (خان و همکاران، مایکل و همکاران) نشان می‌دهند مناظره گاهی کارساز است و گاهی نه، و اثربخشی آن به ساختار وظیفه بستگی دارد.
• مدل‌سازی بازگشتی پاداش (Recursive Reward Modeling - لایک و همکاران، 2018): مدل U به انسان کمک می‌کند تا مدل پاداش (reward model) را برای مدل بعدی، یعنی U+1، آموزش دهد. با این حساب، توانایی مؤثر ناظر همپای خود مدل رشد می‌کند.
• تجزیه‌ی وظیفه (Task Decomposition - کریستیانو، شلگریس و آمودی، 2018): خرد کردن بازگشتی یک وظیفه‌ی دشوار به زیروظایفی که انسان از پس بررسی آن‌ها برمی‌آید. این روش فرض را بر تجزیه‌پذیر بودن وظیفه می‌گذارد.

هر یک از این سازوکارها فرضیاتی درباره‌ی ساختار وظیفه یا هم‌ترازی مؤلفه‌های میانی دارند.

چرا نظارت مقیاس‌پذیر و W2SG مکمل یکدیگرند؟

نظارت مقیاس‌پذیر کیفیت مؤثر سیگنال ناظر را بالاتر می‌برد. W2SG شکاف باقی‌مانده را بر اساس همان سیگنال ناقص ناظر پر می‌کند.

لانگ و همکاران در مقاله‌ی «مناظره به تعمیم ضعیف به قوی کمک می‌کند» (arXiv:2501.13124) این دو ایده را ترکیب کردند: پروتکل مناظره برچسب‌های ضعیفِ بهتری تولید می‌کند، و سپس مدل قوی روی همین برچسب‌ها آموزش می‌بیند. آن‌ها از بهبود PGR در وظایف NLP گزارش داده‌اند.

حواشی سازمانی

تیم سوپرالاینمنت OpenAI در مه 2024 پس از جدایی یان لایک و پیوستن او به Anthropic منحل شد. با این حال، برنامه‌ی پژوهشی آن‌ها (نظارت مقیاس‌پذیر، W2SG، پژوهش‌های خودکارسازی هم‌ترازی) در Anthropic و آزمایشگاه‌های دانشگاهی و مستقل ادامه یافت؛ از جمله MATS (درس 28)، Redwood (درس 10)، Apollo (درس 8) و METR (درس 28). ساختار سازمانی دگرگون شد، اما صورت مسئله‌ها به قوت خود باقی ماندند.

جایگاه این درس در فاز 18

درس‌های 6 تا 10 تهدیدها و الگوی دفاعی را با این فرض بررسی کردند که U غیرقابل اعتماد است. درس 11 به الگوی تهاجمی می‌پردازد: ناظر را آن‌قدر قوی کنیم که از پس راستی‌آزمایی تراز بودن U بربیاید. در ادامه، درس‌های 12 تا 16 سراغ ابزارهای عملیاتی برای ارزیابی خصمانه (adversarial evaluation) می‌روند.

پیاده‌سازی عملی

فایل code/main.py یک فرآیند فاین‌تیونینگ W2SG را روی یک وظیفه‌ی ساختگی شبیه‌سازی می‌کند. برچسب‌گذار ضعیف دقتی معادل 70% با خطاهای ساختاریافته دارد؛ سقف دقت مدل قوی روی برچسب‌های مرجع 95% است. شما مدل قوی را با برچسب‌های ضعیف فاین‌تیون می‌کنید، معیار PGR را اندازه می‌گیرید و آن را با عملکرد مدل قوی روی داده‌های مرجع و عملکرد مدل ضعیف به‌تنهایی مقایسه می‌کنید.

تحویل نهایی

این درس فایل outputs/skill-w2sg-pgr.md را تولید می‌کند. این خروجی با دریافت شرح یک چیدمان نظارتی، ناظر ضعیف، مدل قوی و کیفیت نظارت را مشخص کرده و مقدار PGR را محاسبه (یا درخواست) می‌کند. همچنین مشخص می‌سازد ادعای مطرح‌شده از نوع «مدل ضعیف می‌تواند بر قوی نظارت کند» است یا «مدل ضعیف + سازوکار نظارتی می‌تواند بر قوی نظارت کند».

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. مقدار PGR را برای مقادیر weak_accuracy برابر با 0.60، 0.70 و 0.80 گزارش دهید. شکل نمودار PGR را تحلیل کنید.

2. برچسب‌گذار ضعیف را طوری تغییر دهید که دچار خطای ساختاریافته شود (مثلاً روی یک کلاس ورودی خاص همیشه اشتباه کند). آیا PGR افزایش می‌یابد، کاهش می‌یابد یا ثابت می‌ماند؟ دلیل آن را توضیح دهید.

3. بخش 4.3 مقاله‌ی برنز و همکاران (2023) درباره‌ی وظایف NLP را بخوانید. منطق پشت «تابع زیان کمکی بر مبنای اطمینان» (confidence auxiliary loss) را بازسازی کنید: وقتی مدل قوی اطمینان بیشتری نسبت به برچسب‌های ضعیف دارد، حق با کدام است؟

4. یک پروتکل نظارت مقیاس‌پذیر طراحی کنید که مناظره و تجزیه‌ی وظیفه را برای یک پروژه‌ی مهندسی نرم‌افزار ترکیب کند. یک حالت شکست (failure mode) برای هر جزء نام ببرید و توضیح دهید ترکیب این دو چگونه این شکست‌ها را برطرف می‌کند یا در برطرف کردنشان ناکام می‌ماند.

5. مشخص کنید چه شواهدی می‌تواند ادعای «تعمیم ضعیف به قوی مسیری شدنی برای رسیدن به ابرترازسازی است» را ابطال کند. نشانگرهای تجربی دقیقی را که برای مشاهده و رد این فرضیه نیاز دارید، توضیح دهید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• برنز و همکاران — تعمیم از ضعیف به قوی (OpenAI 2023) — مقاله‌ی اصلی W2SG
• ایروینگ، کریستیانو، آمودی — ایمنی هوش مصنوعی از طریق مناظره (arXiv:1805.00899) — سازوکار مناظره
• لایک و همکاران — هم‌ترازی ایجنت مقیاس‌پذیر از طریق مدل‌سازی پاداش (arXiv:1811.07871) — مدل‌سازی بازگشتی پاداش
• خان و همکاران — مناظره با مدل‌های زبانی متقاعدکننده‌تر به پاسخ‌های صادقانه‌تر می‌انجامد (arXiv:2402.06782) — مطالعه‌ی تجربی در سال 2024 روی مناظره با مناظره‌کنندگان قوی‌تر
• لانگ و همکاران — مناظره به تعمیم ضعیف به قوی کمک می‌کند (arXiv:2501.13124) — ترکیب مناظره و W2SG در سال 2025