جمع‌آوری دادههای دست‌نویس انسانی برای آموزش زنجیره تفکر (Chain of Thought) در مدلهای زبانی، فرایندی فوق‌العاده گران، زمان‌بر و محدود است. تکنیک‌های استدلال خودآموخته (Self-Taught Reasoning) مانند الگوریتم STaR این بن‌بست را حل می‌کنند؛ به این صورت که خود مدل استدلال تولید میکند، پاسخ‌ها را می‌سنجد و در صورت درستی نتیجه، روی خروجی‌های موفق خود فاینتیون میشود.
درک معماری STaR، نسخه‌ی اعتبارسنجی‌شده‌ی آن یعنی V-STaR و نسل بعدی تفکر توکنی با Quiet-STaR، پایه‌ی درک سیستم‌های استدلالی مدرن نظیر DeepSeek-R1 و OpenAI o1 به شمار می‌رود. این درس به شما نشان میدهد چطور کمینه‌ی یک چرخه‌ی خودبهبودی (self-improvement loop) را بسازید و هم‌زمان مراقب تله‌ی تقویت ناخواسته‌ی میان‌بُرهای غلط و غیرتعمیم‌پذیر باشید.
کوچک‌ترین حلقه‌ی خودبهبودی (self-improvement loop) ممکن، درون خودِ استدلال جای دارد. مدل یک زنجیره تفکر (Chain of Thought) تولید میکند، نمونههایی را که به پاسخ درست میرسند نگه میدارد و روی همان‌ها فاین‌تیونینگ انجام میدهد. این همان STaR است. روش V-STaR یک مدل اعتبارسنج (verifier) هم به ماجرا اضافه میکند تا انتخاب خروجی در زمان استنتاج دقیق‌تر شود. روش Quiet-STaR استدلال را تا سطح تک‌تک توکن‌ها پایین می‌برد. هر سه روش جواب می‌دهند، اما هیچ جادویی در کار نیست — این حلقه هر میان‌بُری را که تصادفاً به پاسخ درست ختم شده باشد نیز حفظ و تقویت میکند.
صورت مسئله
روش سرراست برای آموزش استدلال به مدل، جمع‌آوری ردگیری محاسباتِ (reasoning traces) نوشته‌شده به دست انسان است؛ کاری پرهزینه، کُند و محدود به این‌که انسان‌ها چقدر حاضر باشند زنجیرههای تفکر باکیفیت بنویسند.
روش STaR (سرنام Self-Taught Reasoner، زلیکمن و همکاران، 2022) این پرسش را مطرح میکند: چه میشود اگر خودِ مدل استدلال‌هایش را بنویسد و آنها را با پاسخ‌های معلوم بسنجد؟ حلقه به این شکل کار میکند:
- یک ردگیری محاسبات به همراه پاسخ نمونه‌برداری میشود.
- اگر پاسخ نهایی درست بود، ردگیری محاسبات حفظ میشود.
- مدل روی ردگیری‌های محاسباتِ حفظ‌شده فاینتیون میشود.
- این فرایند تکرار میشود.
این ایده جواب میدهد. دقت مدل روی بنچمارک‌های GSM8K و CommonsenseQA بدون داده‌نویسی جدید انسانی بهتر شد. اما این حلقه یک سوگیری ذاتی دارد: هر استدلالی که پاسخ درست تولید کرده باشد حفظ میشود، چه استدلال واقعاً منطقی بوده باشد و چه غلط. روش V-STaR (حسینی و همکاران، 2024) این نقص را با یک مدل اعتبارسنجِ آموزش‌دیده وصله می‌زند؛ روش Quiet-STaR (زلیکمن و همکاران، 2024) نیز این ایده را به استدلالهای درونی به ازای هر توکن تعمیم میدهد.
مفهوم
روش STaR: تخمین اولیه (بوت‌استرپ) بر پایه‌ی خروجی‌های درست
کار را با یک مدل پایه که توان استدلال ضعیفی دارد شروع کنید. برای هر مسئله‌ی آموزشی، یک استدلال به همراه پاسخ نمونه‌برداری میشود. اگر پاسخ با برچسب بخواند، سه‌گانه (مسئله، استدلال، پاسخ) حفظ میشود. مدل روی این مجموعه‌ی حفظ‌شده فاینتیون میشود و فرایند تکرار می‌گردد.
در این میان یک پیچش مهم وجود دارد: اگر مدل اصلاً نتواند به یک مسئله پاسخ درست بدهد، حلقه نمی‌تواند چیزی از آن یاد بگیرد. روش STaR برای حل این مشکل، دلیلتراشی (rationalization) را اضافه میکند: برای مسائلی که مدل در حل آنها شکست میخورد، پاسخ درست را به شکل سرنخ به پرامپت تزریق می‌کنیم تا مدل استدلالی تولید کند که به همان پاسخ برسد. این استدلالهای دلیل‌تراشی‌شده هم به مجموعه‌ی دادههای آموزشی اضافه می‌شوند.
نتیجه در مقاله‌ی اصلی (زلیکمن و همکاران، 2022): دقت مدل پایه‌ی GPT-J روی GSM8K در چند دور اجرای مکرر STaR به همراه دلیلتراشی از 5.8% به 10.7% رسید — یعنی حدود 5 واحد درصد رشد مطلق. روی CommonsenseQA نیز مدل GPT-J 6B آموزش‌دیده با STaR به دقت 72.5% رسید که قابل مقایسه با عملکرد GPT-3 175B فاین‌تیون‌شده (حدود 73%) بود؛ مدلی که تقریباً 30 برابر بزرگ‌تر بود و با استدلالهای دست‌نویس انسانی آموزش دیده بود.
روش V-STaR: آموزش مدل اعتبارسنج با DPO
روش STaR استدلالهای نادرست را دور می‌ریزد. حسینی و همکاران (2024) متوجه شدند که این استدلال‌ها هم نوعی داده هستند: هر جفت از (استدلال، «آیا درست است؟») می‌تواند یک مدل اعتبارسنج را آموزش دهد. آنها با استفاده از بهینه‌سازی ترجیحات مستقیم (Direct Preference Optimization یا DPO) روی هر دو دسته‌ی راه‌حل‌های درست و غلط، یک رتبه‌بند ساختند. در زمان استنتاج، N استدلال نمونه‌برداری میشود و گزینه‌ای که بالاترین امتیاز را از مدل اعتبارسنج گرفته، انتخاب می‌گردد.
اختلاف گزارش‌شده: 4+ تا 17+ واحد درصد بهبود نسبت به خطوط مبنای قبلی خودبهبودی روی GSM8K و MATH؛ بخش اعظم این جهش ناشی از به‌کارگیری مدل اعتبارسنج برای انتخاب خروجی در زمان استنتاج بود، نه از فاین‌تیونینگ بیشترِ مدل مولد.
روش Quiet-STaR: استدلالهای درونی به ازای هر توکن
زلیکمن و همکاران (2024) پرسیدند: چه میشود اگر مدل یاد بگیرد در جایگاه هر توکن یک استدلال کوتاه درونی بسازد، نه فقط در فاصله‌ی بین صورت مسئله و پاسخ نهایی؟ Quiet-STaR مدلی را آموزش میدهد تا پیش از هر توکنِ پیش‌بینی‌شده، یک «فکر» پنهان تولید کند؛ سپس پیش‌بینیِ مبتنی بر تفکر را با پیش‌بینی خط مبنا از طریق یک وزنِ آموخته‌شده ترکیب می‌نماید.
نتیجه: مدل Mistral 7B در ارزیابی صفر-شات، بدون فاین‌تیونینگ اختصاصی برای وظیفه، روی GSM8K از 5.9% به 10.9% و روی CommonsenseQA از 36.3% به 47.2% جهش کرد. مدل یاد گرفت «چه زمانی باید فکر کند» — برای توکن‌های سخت، استدلالهای درونی طولانی‌تری می‌سازد و برای توکن‌های آسان، تقریباً هیچ فکری تولید نمی‌کند.
چرا هر سه روش دغدغه‌ی ایمنی مشترکی دارند
هر سه روش از پاسخ نهایی به عنوان سیگنال گرادیان استفاده می‌کنند. اگر استدلالی با منطق اشتباه — با سوءاستفاده از یک میان‌بُر، حدس‌زدن، یا استفاده از الگویی غیرقابل‌تعمیم — به پاسخ درست برسد، باز هم تقویت مثبت میشود. این میان‌بُر روی توزیع دادههای آموزشی (in-distribution) کار میکند، اما روی دادههای خارج از توزیع (out-of-distribution یا OOD) بی‌صدا از کار می‌افتد.
مدل اعتبارسنج V-STaR این مشکل را تا حدی تعدیل میکند چون یاد می‌گیرد استدلال‌ها را رتبه‌بندی کند؛ اما خودِ این مدل اعتبارسنج هم روی همان مجموعه‌ی برچسب‌ها آموزش دیده است. در نتیجه ممکن است یاد بگیرد یک استدلال غلطِ خوش‌ساخت را به ابراز تردیدِ صادقانه ترجیح دهد. طراحی ایمن‌تر این است که دادههای سبک STaR را با دو مورد ترکیب کنید: (الف) مدلهای پاداش با نظارت بر فرایند (process-supervised reward models) که به گام‌های میانی پاداش می‌دهند نه فقط به جواب نهایی، و (ب) ارزیابی روی دادههای OOD کنارگذاشته‌شده که میان‌بُرهای ساده را بشکند.
مقایسه
| روش | سیگنال آموزش | هزینه‌ی استنتاج | هدررفت داده | حالت شکست شناخته‌شده |
|---|---|---|---|---|
| STaR | حفظ (استدلال، پاسخ) در صورت درستی | 1x | تمام استدلالهای غلط را دور می‌ریزد | استدلالهای میان‌بُر |
| STaR + دلیلتراشی | همان بالایی + تلاش‌های مجدد با سرنخ پاسخ درست | 1x | کمتر | استدلالهای دلیل‌تراشی‌شده ممکن است باورناپذیر باشند |
| V-STaR | روش STaR + مدل اعتبارسنج DPO از هر دو کلاس | Nx (بهترین از بین N) | حداقلی | مدل اعتبارسنج می‌تواند نادرستیِ مطمئن را تقویت کند |
| Quiet-STaR | استدلال به ازای هر توکن + وزن ترکیب | 1.5 تا 3x | حداقلی | گرادیان همچنان وابسته به پاسخ نهایی است |
جایگاه این مبحث در پشته‌ی فناوری 2026
روش STaR قدیمی است، اما این الگو در سال‌های 2025 و 2026 همه‌جا بازتولید میشود. یادگیری تقویتی روی مسائل ریاضی قابل‌تایید (DeepSeek-R1، Kimi-k1.5، o1) در واقع همان سیگنال گرادیانِ وابسته به پاسخِ STaR در مقیاسی عظیم‌تر است. مدلهای پاداش فرایند (لایتمن و همکاران، 2023؛ مقاله‌ی «Let's verify step by step» از OpenAI) جایگزین‌های مبتنی بر نظارت بر فرایند هستند. AlphaEvolve (درس 3) همان STaR برای کدنویسی است که در آن ارزیاب برنامه جایگزین برچسب شده است. Darwin Godel Machine (درس 4) هم STaR برای ساختار خودِ ایجنت به حساب می‌آید.
درک دقیق STaR باعث میشود همه‌ی این موارد برایتان جا بیفتد. این روش، کمینه‌ی حلقه‌ی خودبهبودی پایدار است.
استفاده از آن
فایل code/main.py یک حلقه‌ی شبیه‌سازی‌شده‌ی STaR را روی یک وظیفه محاسباتی ساده اجرا میکند. می‌توانید روندها را تماشا کنید:
- چطور دقت مدل در طول دورهای مختلف تخمین اولیه بالا می‌رود.
- چطور میان‌بُرها دزدکی وارد می‌شوند: این شبیه‌ساز دسته‌ای از استدلالهای «تنبل» دارد که 40% مواقع به جواب درست میرسند ولی اصلاً تعمیم‌پذیر نیستند. ببینید آیا STaR آنها را نگه میدارد یا نه.
- چطور یک مدل اعتبارسنج (مشابه V-STaR) در زمان استنتاج کمک میکند، اما نمی‌تواند میانبُرهایی را که در زمان آموزش ایجاد شده‌اند کاملاً هرس کند.
استقرار آن
فایل outputs/skill-star-loop-reviewer.md به شما کمک میکند تا پایپ‌لاین استدلال خودآموخته‌ی پیشنهادی‌تان را پیش از شروع آموزش بازبینی و ممیزی کنید.
تمرین‌ها
-
شبیه‌ساز را اجرا کنید. فراوانی میان‌بُر را ابتدا صفر و سپس 0.4 بگذارید. با وجود این‌که هر دو اجرا روی توزیع آموزشی به دقتی بالای 90% میرسند، دقت نهایی آنها چقدر با هم تفاوت دارد؟
-
یک آزمون OOD کنارگذاشته‌شده به شبیه‌ساز اضافه کنید. مسائلی را از یک توزیع متفاوت بیاورید و مدل آموزش‌دیده را هم روی دادههای درون‌توزیع و هم خارج‌از‌توزیع ارزیابی کنید. این شکاف عملکرد را اندازه بگیرید.
-
بخش 3 از مقاله‌ی Quiet-STaR (شناسه‌ی arXiv:2403.09629) را بخوانید. توکن «پایان تفکر» (end-of-thought) و سرِ (head) وزن ترکیب را هر کدام در سه جمله توضیح دهید.
-
فیلتر «حفظ در صورت درستیِ» STaR را با یک گزینه‌ی جایگزینِ مبتنی بر نظارت بر فرایند مقایسه کنید که به تک‌تک مراحل استدلال جداگانه پاداش میدهد. تفاوت هزینه‌ی برچسب‌گذاری و تفاوت احتمالی در کیفیت را مشخص کنید.
-
ارزیابی خاصی طراحی کنید که بتواند استدلالهای میان‌بُر را در یک مدل مستقرشده شکار کند. قرار نیست کامل و بی‌نقص باشد — فقط باید ساده‌ترین میانبُرهایی را که حلقه‌ی STaR تقویت میکند بشکند.
اصطلاحات کلیدی
| اصطلاح | آنچه گفته میشود | معنای واقعی آن |
|---|---|---|
| STaR | «استدلال‌گر خودآموخته» | فاین‌تیونینگ روی استدلالهای تولیدشده توسط مدل که به جواب درست رسیدهاند؛ و تکرار این چرخه |
| دلیلتراشی (Rationalization) | «تلاش مجدد با سرنخ» | تزریق پاسخ درست و ارسال مجدد پرامپت برای دریافت استدلال در مسائلی که مدل پایه در آنها رد میشود |
| V-STaR | «STaR به همراه مدل اعتبارسنج» | آموزش یک مدل اعتبارسنج با DPO روی هر دو دسته‌ی استدلالهای درست و غلط، و استفاده از آن برای انتخاب در زمان استنتاج |
| Quiet-STaR | «استدلال به ازای هر توکن» | تولید افکار پنهان در جایگاه تک‌تک توکن‌ها و ترکیب آن با پیش‌بینی خط مبنا |
| گرادیان وابسته به پاسخ (Answer-conditioned gradient) | «سیگنال مبتنی بر نتیجه» | حلقه‌ی آموزشی که به پاسخ‌های نهایی پاداش میدهد، نه مراحل استدلال |
| مدل پاداش فرایند (Process reward model) | «مدل اعتبارسنج مرحله‌به‌مرحله» | مدل پاداش آموزش‌دیده بر اساس درستیِ گام‌به‌گام نه نتیجهی نهایی — در تقابل با STaR |
| استدلال میان‌بُر (Shortcut rationale) | «جواب درست، استدلال غلط» | استدلالی که با یک الگوی غیرقابل‌تعمیم به برچسب می‌رسد؛ STaR این موارد را حفظ میکند |
برای مطالعه‌ی بیشتر
- Zelikman et al. (2022). STaR: Bootstrapping Reasoning With Reasoning — مقاله‌ی اصلی.
- Hosseini et al. (2024). V-STaR: Training Verifiers for Self-Taught Reasoners — اضافه کردن مدل اعتبارسنج با DPO برای گزینش در زمان استنتاج.
- Zelikman et al. (2024). Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking — استدلالهای درونی به ازای هر توکن.
- Lightman et al. (2023). Let's Verify Step by Step — مدلهای پاداش فرایند، سیگنال گرادیانِ جایگزین.
- مقاله‌ی DeepSeek-R1 (شناسه‌ی arXiv:2501.12948) — یادگیری تقویتی روی وظایف قابل‌تایید؛ همان روش STaR در مقیاس آموزش مدلهای مرزی (frontier).