در گام 0، ترینر (trainer) و موتور تولید (engine) وزنهای یکسانی دارند؛ بنابراین گام اول نشان میدهد که آیا پیکربندی درست است یا نه.
گام 0 کمهزینهترین تستی است که در اختیارتان قرار دارد. هنوز هیچ آموزشی رخ نداده است؛ بنابراین هر تفاوتی بین ترینر و موتور تولید ناشی از پیکربندی است، نه فرآیند یادگیری.
پس از پایان این بخش، میتوانید گام اول یک اجرا را بررسی کنید و پیش از آنکه فرآیند آموزش روی اعداد اشتباه ادامه یابد، جلوی اجرای معیوب را بگیرید.
بررسی دو مقدار در گام 0
در گام 0، ترینر لگاریتم احتمالات (log probabilities) نمونهها را با همان وزنهایی محاسبه میکند که موتور تولید استفاده کرده بود. بنابراین، دو مقدار در سطر معیارهای مربوط به گام 0 حتماً باید روی 0 باشند:
train/ppo_kl: واگرایی کولبک-لایبلر (KL) میان احتمالات قدیم و جدید ترینر. پیش از اولین بهروزرسانی، این مقادیر یکسان هستند.train/pg_clipfrac: کسر برش (clip fraction) یا همان سهم توکنهای برشخورده. قبل از اولین بهروزرسانی هیچ توکنی نمیتواند برش بخورد.
پروژهی Miles هر دوی اینها را در تستهای داخلی خود اعتبارسنجی (assert) میکند: train/ppo_kl باید کمتر از 1e-9 و train/pg_clipfrac باید کمتر از 1e-10 باشد. این ارزیابی فقط روی ترینر Megatron همراه با --ci-test و در اولین گامِ بهینهساز در هر مسیر پیشروی شبیهسازیشده (rollout) اجرا میشود. پرچم --ci-disable-kl-checker این بررسی را خاموش میکند. روی ترینر FSDP، یا بدون این پرچم، باید خودتان مقادیر را بخوانید و بررسی کنید.
تمامی اجراهای ما در گام 0 کسر برش 0 را ثبت کردند.
مقایسهی اختلاف با بازهی استاندارد
اختلاف (gap) میان ترینر و موتور تولید خارج از حالت کاملاً همسیاست (on-policy) هرگز 0 نیست؛ زیرا دو طرف از کرنلهای متفاوتی استفاده میکنند. با این حال، در گام 0 این مقدار همچنان باید درون بازهی اجراهای سالم شما قرار بگیرد:
| اجراهای ما | اختلاف در گام 0 |
|---|---|
| Qwen3-0.6B، بدون top-p یا top-k، تعداد 17 اجرا | 0.0148 تا 0.0157 |
| Qwen3-0.6B، با top-p 0.95 و top-k 64 | 0.0136 |
| Qwen3-1.7B | 0.0109 |
این اختلاف به مدل و نمونهگیر (sampler) بستگی دارد؛ بنابراین این بازه را برای پیکربندی خودتان بسازید. اگر اختلاف در گام 0 چند برابر بازهی نرمال شما باشد، یعنی دو طرف مدلِ یکسانی را محاسبه نمیکنند. دلایل رایج این مشکل معمولاً اشتباه بودن مسیر چکپوینت در یک طرف، یا فرمتی از مدل است که یک طرف آن را به شکل متفاوتی میخواند.
بررسی مستقیم وزنها
آرگومان --check-weight-update-equal را به یک اجرای آزمایشی کوتاه اضافه کنید؛ با قرار دادن -e MILES_NUM_ROLLOUT=2 -e MILES_EXTRA_ARGS="--check-weight-update-equal" در اجرای بخش 1.1. پس از اولین بهروزرسانی وزنها، Miles وزنهای موتور تولید را با وزنهای ترینر مقایسه میکند. در صورت استفاده از FP8 یا موتورهای دیگر با دقت (precision) پایین، آرگومان --check-weight-update-allow-quant-error را اضافه کنید تا بررسی مربوطه خطای پیشبینیشدهی ناشی از گرد کردن اعداد را مجاز بداند.
این بررسی را یک بار برای هر مدل یا ایمیج جدید انجام دهید، نه در تمام اجراهای طولانی.
منابع: capture/gpu/summary/miles-gb10-lab.json (بخش per_step[0] از هر اجرا)؛ بررسی معیارهای Miles، حلقهی مدل Megatron و آرگومانهای بررسی بهروزرسانی وزن در main 08752a12.