یک اجرای GRPO را با یک چکپوینت (checkpoint) جدید شروع میکنید. در گام 0، معیاری که لگاریتم احتمالهای (log-probabilities) بخش آموزشدهنده (trainer) را با موتور مسیر پیشروی شبیهسازیشده (rollout engine) مقایسه میکند، مقداری چند برابر بیشتر از اجراهای قبلیتان روی همین خانوادهی مدل را نشان میدهد. همکارتان پیشنهاد میکند برای بستن این اختلاف، حالت قطعی (deterministic mode) موتور را فعال کنید. چه کار میکنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
قبل از اینکه مدل بر پایهی اعدادی غلط آموزش ببیند، اجرا را متوقف کنید. در گام 0، هر دو طرف وزنهای یکسانی دارند؛ بنابراین مقداری که بسیار فراتر از بازهی سالم شما باشد، یعنی دو طرف مدل یکسانی را محاسبه نمیکنند: یا مسیر چکپوینت در یک طرف اشتباه است، یا فرمتی استفاده شده که یکی از دو طرف آن را متفاوت میخواند. استنتاج قطعی کمکی نمیکند؛ در اجراهای راهنما، این حالت اختلاف را بدون تغییر در حدود 0.015 باقی گذاشت و فقط باعث شد خروجی موتور دقیقاً تکرار شود، که ویژگی متفاوتی است. پیکربندی را اصلاح کنید، سپس مقدار گام 0 را با بازهی اجراهای سالم خود بسنجید.
پاسخ کامل
گام 0 چه چیزی را ثابت میکند
هنوز هیچ آموزشی انجام نشده است. آموزشدهنده توکنهای نمونهبرداریشده را با همان وزنهایی که موتور استفاده کرده امتیازدهی میکند؛ بنابراین هر اختلافی به پیکربندی برمیگردد. دو مقدار در گام 0 باید دقیقاً 0 باشند: train/ppo_kl که واگرایی KL بین احتمالهای قدیم و جدید آموزشدهنده است، و train/pg_clipfrac که سهم توکنهای برشخورده (clipped) را نشان میدهد. خود اختلاف، یعنی train/train_rollout_logprob_abs_diff، بیرون از حالت انطباق بیتی دقیق (bit-exact mode) هرگز 0 نمیشود، چرا که دو طرف کرنلهای متفاوتی را اجرا میکنند. با این حال، این عدد همچنان باید درون بازهی مورد انتظار شما قرار بگیرد.
بازههای ثبتشده در راهنما
| پیکربندی | اختلاف در گام 0 |
|---|---|
| Qwen3-0.6B، نمونهگیری ساده، 17 اجرا | 0.0148 تا 0.0157 |
| Qwen3-0.6B با top-p برابر 0.95 و top-k برابر 64 | 0.0136 |
| Qwen3-1.7B | 0.0109 |
میزان اختلاف به مدل و نمونهگیر (sampler) بستگی دارد؛ پس این بازه را بر اساس سیدهای (seed) خودتان بسازید. مقداری که چند برابر این بازه باشد، به مغایرت در خود مدل اشاره دارد، نه کرنلها.
چرا حالت قطعی ابزار مناسبی نیست
استنتاج قطعی باعث میشود موتور برای یک درخواست مشخص، فارغ از دستهای (batch) که دور آن چیده شده، نتیجهی یکسانی بدهد. در چهار اجرای 12گامی با یک سید یکسان، میانهی اختلاف در موتور پیشفرض 0.01526 بود و با کرنلهای قطعی روی دو بکاند اتنشن (attention backend) مختلف، بهترتیب 0.01518، 0.01520 و 0.01515 ثبت شد. دو اجرای قطعی، اختلاف گام 0 را تا شش رقم اعشار تکرار کردند: 0.015404. بنابراین این قابلیت تکرارپذیری میآورد، نه انطباق محاسباتی؛ در عین حال زمان مسیر پیشروی شبیهسازیشده را در گامهای عادی بین 40 تا 45 درصد افزایش داد.
بررسیها، بهترتیب
- مسیر چکپوینت در هر دو طرف. با آموزشدهندهای که در راهنما آمده، هر دو طرف از یک آرگومان بارگذاری میشوند؛ اما در یک چیدمان تفکیکشده یا موتوری با دقت پایین (low-precision)، دو فایل مجزا بارگذاری میشوند و هر دو باید حاوی یک مدل یکسان باشند.
- فرمت مدل: مرحلهای از تبدیل فرمت که در یک طرف اعمال شده و در طرف دیگر نه.
- بررسی برابری وزنها در یک اجرای دوگامی پس از اولین بهروزرسانی؛ در صورتی که موتور با دقت پایین کار میکند، تلورانس کوانتیزهسازی (quantization) را روشن بگذارید.
- نمونهگیر. همانطور که جدول نشان میدهد، اعمال تنظیمات top-p یا top-k در یک اجرا و نبود آن در دیگری، مقدار اختلاف را جابهجا میکند.
رفتار یک اختلاف سالم در طول اجرا
مقدار آن ثابت میماند. در سه سید خط مبنای (baseline) راهنما، در تمام طول 48 گام، عدد اختلاف بین 0.0136 و 0.0164 ماند و KL بین دو طرف بین 0.00063 و 0.00076 حفظ شد. اختلافی که ناگهان جهش کند و پس از بهروزرسانی وزنها بالا بماند، نشان میدهد که دو طرف دیگر وزنهای یکسانی ندارند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا این اختلاف در یک اجرای عادی هرگز صفر نمیشود؟ پاسخ مورد انتظار: دو طرف اعداد یکسانی را با ترتیبی متفاوت و با کرنلهای گوناگون جمع میزنند؛ در میان لایههای پرتعداد و دامنهی واژگان بزرگ، خطای گرد کردن روی هم انباشته میشود.
- سطح 3: پس حالت قطعی به چه دردی میخورد؟ پاسخ مورد انتظار: تولید دقیقاً همان مسیر پیشروی شبیهسازیشده برای یک سید ثابت؛ یعنی همان چیزی که برای آزمودن تابع پاداش روی نمونههای کاملاً یکسان به آن نیاز دارید.
- سطح 4: چه عواملی کف این اختلاف را جابهجا میکنند؟ پاسخ مورد انتظار: دقت (precision) در هر دو طرف، اندازهی موازیسازی تنسور (tensor-parallel) در موتور، و کرنلهایی که محاسبات را با ترتیبی ثابت جمع میزنند؛ هر کدام از اینها هزینهای از جنس سرعت یا حجم محاسبات دارند.
- سطح 4: اختلاف در گام 0 طبیعی است اما گامبهگام بزرگتر میشود. تفاوت این حالت با خطای گام 0 چیست؟ پاسخ مورد انتظار: وزنها پس از بهروزرسانیها از هم فاصله میگیرند، بنابراین مسیر بهروزرسانی وزنها مظنون اصلی است، نه چکپوینت؛ لاگهای بهروزرسانی را بخوانید و بررسی برابری وزنها را اجرا کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «استنتاج قطعی را فعال کنید تا اختلاف از بین برود.» چهار اجرای راهنما نشان دادند که اختلاف با این حالت و بدون آن یکسان است؛ این کار فقط خروجی موتور را تکرارپذیر میکند و زمان مسیر پیشروی شبیهسازیشده را بالا میبرد.
- «وجود اختلاف طبیعی است؛ آموزش را ادامه دهید و پاداش را زیر نظر بگیرید.» مقداری در گام 0 که چند برابر بازهی سالم باشد یعنی آموزشدهنده دارد مدلی متفاوت از مدل نمونهگیریشده را ارزیابی میکند، بنابراین اجرای شما از همان بهروزرسانی اول روی اعدادی غلط آموزش میبیند.
- «تصحیح با نمونهبرداری اهمیت (importance-sampling) را اضافه کنید.» بازوزندهی صرفاً اختلافی را که از خطای پیکربندی ناشی شده پنهان میکند؛ ابتدا علت ریشهای را برطرف کنید.
کجای دوره آموزش داده میشود
بخش 5.2 از راهنمای Miles 101 بررسیها و بازههای گام 0 را ارائه میدهد، بخش 4.5 اندازهگیری میکند که حالت قطعی چه چیزهایی را برطرف میکند و چه چیزهایی را نه، و بخش 7.1 این نشانهها را فهرست کرده است.