چیت‌شیت
استدلال خودآموخته و خودبهبودبخشی
Self-Taught Reasoning and Self-Improvement
تولید، نمره‌دهی، نگه‌داری، بازآموزی. حلقه‌های STaR ،GRPO ،AlphaEvolve و DGM، اعداد آن‌ها و تله‌های ارزیاب.
فهرست مطالب
ایده‌های اصلی
مفهوم‌ها- STaR
- فین‌تیون روی استدلال‌های خود مدل که به پاسخ درست می‌رسند. سپس تکرار.
- دلیل‌تراشی
- ارائه پاسخ درست به عنوان راهنمایی در مسائل حل‌نشده.
- هوش مصنوعی قانون‌محور
- مدل بر اساس اصول مکتوب خود را نقد و بازنگری می‌کند.
- GRPO
- همان PPO بدون تابع ارزش. خود گروه، خط مبنا است.
- AlphaEvolve
- مدل زبانی برنامه‌ها را ویرایش می‌کند. یک ارزیاب ماشین‌بررسی‌پذیر به آن‌ها نمره می‌دهد.
- DGM
- ایجنت داربست خود را ویرایش می‌کند. یک بنچ‌مارک به آن نمره می‌دهد.
- RSI
- سیستم
S_nویرایشی را پیشنهاد می‌دهد کهS_{n+1}را می‌سازد. - گرادیان وابسته به پاسخ
- حلقه فقط به پاسخ نهایی پاداش می‌دهد، نه به گام‌ها.
یک دستورالعمل: مولد به‌علاوه ارزیاب
معماریحلقه STaR
گام‌به‌گام- مدلیک ردگیری محاسبات استدلال به‌همراه پاسخ برای هر مسئله نمونه‌گیری می‌کند.
- فیلترردگیری محاسبات را فقط در صورت درست بودن پاسخ نهایی نگه می‌دارد.
- دلیل‌تراشیدر مسائل حل‌نشده، پاسخ درست را راهنمایی داده و دوباره نمونه‌گیری می‌کند.
- فین‌تیونروی ردگیری‌های محاسبات نگه‌داشته‌شده و دلیل‌تراشی‌شده آموزش می‌بیند.
- تکراردور بعدی از مدل جدید استفاده می‌کند.
- V-STaRیک مدل اعتبارسنج DPO روی ردگیری‌های درست و نادرست آموزش می‌دهد. بهترین از میان N را برمی‌گزیند.
پیاده‌سازی GRPO در کد
کدpython
def group_relative_advantage(rewards: list[float]) -> np.ndarray:
r = np.array(rewards, dtype=float)
if r.std() < 1e-8: # پاداش یکسان برای همه: بدون سیگنال
return np.zeros_like(r)
return (r - r.mean()) / (r.std() + 1e-8) # محاسبه z-score در گروه
ratios = np.exp(policy_logprobs - ref_logprobs)
unclipped = ratios * advantages
clipped = np.clip(ratios, 1 - clip_eps, 1 + clip_eps) * advantages
policy_loss = -np.minimum(unclipped, clipped).mean() # جانشین بریده‌شده PPO
kl = (ref_logprobs - policy_logprobs).mean()
total_loss = policy_loss + beta * kl # واگرایی KL به مرجع باقی می‌ماند
مقایسه خانواده STaR در کنار هم
مقایسه| فاکتور | STaR | STaR به‌همراه دلیل‌تراشی | V-STaR | Quiet-STaR |
|---|---|---|---|---|
| سیگنال آموزشی | نگه‌داری (استدلال، پاسخ) در صورت درستی | موارد بالا + تلاش مجدد با راهنمایی پاسخ درست | روش STaR + مدل اعتبارسنج DPO از هر دو کلاس | استدلال به ازای هر توکن + وزن ترکیب |
| هزینه استنتاج | 1x | 1x | Nx (بهترین از میان N) | 1.5-3x |
| هدررفت داده | دور ریختن تمام استدلال‌های نادرست | کمتر | حداقل | حداقل |
| حالت شکست | استدلال‌های میان‌بُر | استدلال‌های حاصل از دلیل‌تراشی ممکن است غیرقابل‌قبول باشند | مدل اعتبارسنج می‌تواند نادرستی با اطمینان بالا را تقویت کند | همچنان گرادیان وابسته به پاسخ |
حلقه‌های جستجوی کد و خودویرایشی
مقایسه| فاکتور | AlphaEvolve | ماشین داروین گودل | ماشین گودل (2003) |
|---|---|---|---|
| هدف ویرایش | یک برنامه در پایگاه داده | داربست ایجنت | هر نوع خوداصلاحی |
| ارزیاب | درستی + بنچ‌مارک | SWE-bench / Polyglot | اثبات صوری |
| قاعده پذیرش | نمره بر دارنده فعلی خانه غلبه کند | اختلاف نمره تجربی + آرشیو | اثبات صوری سود خالص |
| یک نمونه موفقیت | ضرب ماتریسی 4x4 با 48 ضرب | رشد از 20% به 50% در SWE-bench | هیچ نمونه غیربدیهی شناخته‌شده‌ای وجود ندارد |
| حالت شکست | دور زدن پاداش در ارزیاب ضعیف | پذیرش نسخه‌های با پاداش دور زده‌شده | هرگز فعال نمی‌شود |
اجرای شبیه‌سازها
کار و کد| وظیفه | کد |
|---|---|
| یک دور GRPO با پاداش‌های مبتنی بر قاعده | self_improvement_round(prompts, sampler, group_size=group_size) |
| پاداش مبتنی بر قاعده ترکیبی | reward_math(prompt, response) + 0.1 * reward_format(response) |
| دورهای بوت‌استرپ STaR | run_star(rounds, initial) |
| اجرای AlphaEvolve با آزمون نگه‌داشته‌شده | run_loop(generations=1500, pop=20, use_holdout=True, seed=DEFAULT_SEED) |
| دموی فقط-آموزش AlphaEvolve | python code/main.py --no-holdout |
| اجرای DGM با نمره‌دهنده باز | python code/main.py --reward-hack-allowed |
| رقابت RSI، آستانه شکاف 2.0 | python code/main.py --threshold 2.0 |
| سناریوی RSI نوع A | Config(r_c=1.15, r_a=1.08, noise_c=0.02, noise_a=0.03, threshold=th) |
پیش‌فرض‌ها در کد
پیش‌فرض‌ها| تنظیم | پیش‌فرض | نکته |
|---|---|---|
grpo_step(beta) | 0.01 | وزن KL |
grpo_step(clip_eps) | 0.2 | برش نسبت |
self_improvement_round(group_size) | 8 | تعداد نمونه به ازای هر پرامپت |
star_round(n_samples) | 1000 | ردگیری‌های محاسبات در هر دور |
--threshold | 1.5 | شکاف توقف C - A |
--seed | DEFAULT_SEED | 11 در شبیه‌سازی RSI |
`star_round` `alpha` | 0.6 | وزن ردگیری‌های محاسبات نگه‌داشته‌شده |
عیب‌یابی
عیبیابیانحراف معیار پاداش به صفر می‌رسد
- علت
- فروپاشی مُد
- راه‌حل
- توقف اجرا
از دست رفتن تنوع پس از 3-5 دور
- علت
- محدودتر بودن داده‌های خودتولیدشده
- راه‌حل
- ترکیب کردن با داده‌های انسانی تازه
مزیت برای یک پرامپت صفر است
- علت
- پاداش یکسان در کل گروه
- راه‌حل
- رد کردن پرامپت
خوب در توزیع، شکست خارج از توزیع
- علت
- نگه‌داری استدلال‌های میان‌بُر
- راه‌حل
- پاداش‌های فرایند و ارزیابی OOD نگه‌داشته‌شده
خطای MSE آموزش کم، خطای MSE آزمون رها
- علت
- ارزیاب فقط-آموزش
- راه‌حل
- ورودی‌های نگه‌داشته‌شده ایجادشده در زمان ارزیابی
نمره گزارش‌شده بالاتر از نمره واقعی است
- علت
- ایجنت نمره‌دهنده خود را ویرایش می‌کند
- راه‌حل
- فایروال ارزیاب
شکاف C - A از آستانه عبور می‌کند
- علت
- نرخ توانمندی بالاتر از نرخ هم‌راستایی است
- راه‌حل
- توقف برای بازبینی انسانی
چه زمانی از کدام استفاده کنیم؟
نکته‌ها- هوش مصنوعی قانون‌محور خالص: رفتارهای سوبژکتیو مثل لحن، ایمنی و سبک امتناع مدل.
- ترکیب GRPO + ORM: وظایف قابل‌تأیید با پاداش تنک و باینری.
- روش DPO روی جفت‌های خودتولیدشده: شیوه‌نامه‌ی بنیادین جفت‌ها را می‌سازد، DPO آموزش می‌دهد.
- روش RLHF کامل: مصالحه‌های چندهدفه که با یک قاعده قابل بیان نیستند.
- سیستم AlphaEvolve: فقط جایی که ارزیاب سریع، قطعی و غیرقابل دور زدن باشد.
پرسش و پاسخ
پرسش و پاسخ- میزان بهبود STaR در GSM8K؟
- مدل GPT-J از 5.8% به 10.7% رسید.
- بهبودهای DGM؟
- بنچ‌مارک SWE-bench از 20.0% به 50.0% و Polyglot از 14.2% به 30.7%.
- نرخ تظاهر به هم‌راستایی؟
- 12% در آزمون‌های پایه، و تا 78% پس از آموزش برای حذف آن.
- آیا خودبهبودبخشی توانمندی جدیدی می‌افزاید؟
- خیر. سیگنال موجود در مدل را تقویت می‌کند.
- نمودارهای یک اجرای سالم؟
- میانگین پاداش صعودی، انحراف معیار پایدار، واگرایی KL کران‌دار.
واژه‌نامه
اصطلاح‌ها- ORM
- مدل پاداش نتیجه. یک پاداش روی پاسخ نهایی.
- PRM
- مدل پاداش فرایند. یک پاداش به ازای هر گام.
- RLAIF
- یادگیری تقویتی بر اساس بازخورد هوش مصنوعی. اجرای PPO یا DPO روی ترجیحات مدل.
- SL-CAI
- مرحله 1 هوش مصنوعی قانون‌محور. آموزش SFT روی جفت‌های (پرامپت، بازنگری‌شده).
- MAP-elites
- شبکه‌ای با کلید بردارهای ویژگی. بهترین نسخه برای هر خانه.