سناریوی رخداد

در گام ششم: آیا فرایند آموزش واقعاً دارد یاد می‌گیرد؟

Six steps in, is the run learning

  • سطح ۲: میانی
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

یک اجرای GRPO روی GSM8K تازه به گام 6 رسیده است. یکی از هم‌تیمی‌ها پاداش هر گام را همان‌طور که در لاگ ثبت شده می‌فرستد: 0.62890625، 0.59375، 0.7578125، 0.69140625، 0.58984375 و 0.5859375. سه مقدار آخر افت کرده‌اند. او می‌گوید عملکرد مدل دارد بدتر می‌شود، می‌خواهد اجرا را متوقف کند و برای اجرای بعدی، نرخ یادگیری (learning rate) را به نصف کاهش دهد.

هم‌تیمی دیگری خط مربوط به گام 0 را باز می‌کند و می‌بیند تابع زیان (loss) و مزیت‌ها (advantages) آن‌قدر به صفر نزدیک‌اند که لاگ آن‌ها را با نماد علمی چاپ کرده است. او نتیجه می‌گیرد که اصلاً هیچ آموزشی انجام نمی‌شود و این اجرا هدر دادن GPU است. کمی بعد، وقتی 10 گام کامل شد، شما لاگ را همراه با سه خطی که گام اول ثبت کرده بود، دوباره بررسی می‌کنید.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory

شواهد

first-perf-line.txt
title: the perf line of the first rollout
source: manuals/miles-101/capture/gpu/out-gb10/plain-first-step.log
lines: 4-4
lang: text
note: Read the answer lengths, the zero_std counts, the truncated ratio and the rollout time.
---
(RolloutExecutor pid=2545) [2026-10-17 15:56:15.547 rollout_executor] metrics.py:94 - perf 0: {'rollout/raw_reward_unfiltered': 0.62890625, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.62890625, 'rollout/episode_response_length/mean': 739.92578125, 'rollout/episode_response_length/median': 759.5, 'rollout/episode_response_length/max': 1024, 'rollout/episode_response_length/min': 259, 'rollout/episode_total_response_length/mean': 739.92578125, 'rollout/response_len/mean': 739.92578125, 'rollout/response_len/median': 759.5, 'rollout/response_len/max': 1024, 'rollout/response_len/min': 259, 'rollout/zero_std/count_1': 7, 'rollout/zero_std/count_0': 3, 'rollout/zero_std/all_zero_percentage': 0.09375, 'rollout/zero_std/all_one_percentage': 0.21875, 'rollout/prefix_cache_hit_rate': 0.24518696778970753, 'rollout/avg_cached_tokens_per_sample': 20.6953125, 'rollout/repetition_frac': 0.0, 'rollout/truncated_ratio': 0.3203125, 'rollout/weight_version/mean': 1.0, 'rollout/weight_version/median': 1.0, 'rollout/weight_version/max': 1, 'rollout/weight_version/min': 1, 'rollout/weight_version/mixed_version_ratio': 0.0, 'perf/rollout_time': 61.951833724975586, 'perf/tokens_per_gpu_per_sec': 3057.5527568869334, 'perf/longest_sample_tokens_per_sec': 16.52896998248462, 'perf/effective_tokens_per_gpu_per_sec': 3057.5527568869334, 'perf/longest_effective_sample_tokens_per_sec': 16.52896998248462}
first-rollout-line.txt
title: the rollout 0 line of the trainer
source: manuals/miles-101/capture/gpu/out-gb10/plain-first-step.log
lines: 5-5
lang: text
note: Read the truncated share, the centered rewards and the advantages.
---
(FSDPTrainRayActor pid=2551) [2026-10-17 15:56:48.271 actor_cell00000_rank00000] log_utils.py:125 - rollout 0: {'rollout/response_lengths': 739.92578125, 'rollout/rewards': -1.6298145055770874e-09, 'rollout/truncated': 0.3203125, 'rollout/rollout_log_probs': -0.42945602536201477, 'rollout/raw_reward': 0.62890625, 'rollout/total_lengths': 824.33203125, 'rollout/log_probs': -0.43026646971702576, 'rollout/entropy': 0.43224966526031494, 'rollout/advantages': 4.656612873077393e-10, 'rollout/returns': 4.656612873077393e-10}
first-step-line.txt
title: the step 0 line of the trainer
source: manuals/miles-101/capture/gpu/out-gb10/plain-first-step.log
lines: 6-6
lang: text
note: Read the loss, the clip fraction, the ppo_kl, the gap, the KL and the gradient norm.
---
(FSDPTrainRayActor pid=2551) [2026-10-17 15:58:15.687 actor_cell00000_rank00000] log_utils.py:554 - step 0: {'train/loss': -4.656612873077393e-10, 'train/pg_loss': -4.656612873077393e-10, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.015336457639932632, 'train/train_rollout_kl': 0.0006840902497060597, 'train/grad_norm': 0.5216571092605591, 'train/lr-pg_0': 1e-06, 'train/step': 0}
healthy-ranges.txt
title: the healthy ranges of five numbers over the first ten steps of three seeds
source: manuals/miles-101/sections/1-3-read-your-first-ten-steps.md
lines: 41-47
lang: text
note: Each row names the log field and its range.
---
| Metric | Log name | Healthy range in steps 0 to 9 | What it tells you |
|---|---|---|---|
| reward | `rollout/raw_reward` | 0.53 to 0.74, mean 0.62 to 0.65 per seed | the share of correct answers |
| answer length | `rollout/response_lengths` | 626 to 787 tokens | how long the model talks |
| cut share | `rollout/truncated` | 0.19 to 0.43 | the share of answers that hit the 1,024-token limit |
| log probability gap | `train/train_rollout_logprob_abs_diff` | 0.0141 to 0.0164 | how far the trainer and the engine disagree on the same tokens |
| KL between trainer and engine | `train/train_rollout_kl` | 0.00063 to 0.00075 | the same disagreement, as a distance between two probability distributions |
signs-of-a-broken-run.txt
title: the signs of a broken run
source: manuals/miles-101/sections/1-3-read-your-first-ten-steps.md
lines: 75-80
lang: text
note: Four rows, each with the meaning and the page to go to.
---
| What you see | What it means | Where to go |
|---|---|---|
| no step lines after ten minutes | the engine or the trainer did not start | [section 7.1](#s-troubleshoot-by-symptom) |
| `503 Service Unavailable` lines that do not stop for minutes | the rollout engine died. Short bursts of a minute or less can come from a healthy engine | [section 1.2](#s-add-a-watchdog) |
| the log probability gap grows step after step | the trainer and the engine hold different weights | [section 5.2](#s-check-the-first-step) |
| the reward stays flat and many groups score the same | most groups give no learning signal | [section 3.1](#s-train-math-on-gsm8k) |
ten-gaps.txt
title: the log probability gap of the first ten steps
source: manuals/miles-101/capture/gpu/out-gb10/read-steps.txt
lines: 12-22
lang: text
note: The same ten steps. Read the lowest and the highest value.
---
$ grep -o "'train/train_rollout_logprob_abs_diff': [0-9.]*" plain.log | head -10
'train/train_rollout_logprob_abs_diff': 0.015336457639932632
'train/train_rollout_logprob_abs_diff': 0.01610221341252327
'train/train_rollout_logprob_abs_diff': 0.014312651939690113
'train/train_rollout_logprob_abs_diff': 0.015629252418875694
'train/train_rollout_logprob_abs_diff': 0.015349497087299824
'train/train_rollout_logprob_abs_diff': 0.01628461480140686
'train/train_rollout_logprob_abs_diff': 0.014715931378304958
'train/train_rollout_logprob_abs_diff': 0.015263394452631474
'train/train_rollout_logprob_abs_diff': 0.01513341348618269
'train/train_rollout_logprob_abs_diff': 0.016122153028845787
ten-rewards.txt
title: the reward of the first ten steps
source: manuals/miles-101/capture/gpu/out-gb10/read-steps.txt
lines: 1-11
lang: text
note: One line is one step. Read the spread before you read a trend.
---
$ grep -o "'rollout/raw_reward': [0-9.]*" plain.log | head -10
'rollout/raw_reward': 0.62890625
'rollout/raw_reward': 0.59375
'rollout/raw_reward': 0.7578125
'rollout/raw_reward': 0.69140625
'rollout/raw_reward': 0.58984375
'rollout/raw_reward': 0.5859375
'rollout/raw_reward': 0.6875
'rollout/raw_reward': 0.67578125
'rollout/raw_reward': 0.74609375
'rollout/raw_reward': 0.6484375

سؤال‌ها

  1. سه گام پیاپی با افت همراه بوده‌اند. در این پیکربندی، تغییر طبیعی بین دو گام چقدر است و میانگین پاداش را باید در چند گام خواند؟
  2. شکاف بین موتور تولید و ترینر چقدر است؛ این متغیر در طول 10 گام در چه محدوده‌ای قرار دارد و اگر روند متفاوتی پیدا کند چه معنایی خواهد داشت؟
  3. چرا پاداش‌های مرکزیت‌یافته و مزیت‌ها در نخستین مسیر پیش‌روی شبیه‌سازی‌شده نزدیک به صفرند، و کدام عدد در همان خط، سیگنال واقعی است؟
  4. تابع زیان در گام 0 نزدیک به صفر است، کسر برش (clip fraction) برابر با 0 و ppo_kl هم 0 است. کدام‌یک از این سه مقدار در گام 0 مورد انتظارند و کدام عدد اثبات می‌کند گرادیان (gradient) وجود دارد؟
  5. چه تعداد از 32 گروه در نخستین مسیر پیش‌روی شبیه‌سازی‌شده هیچ سیگنال یادگیری نداشتند و این عدد را چطور تحلیل می‌کنید؟
  6. قاعده‌ای بنویسید که در هر گام، برای توقف یا ادامه‌ی این اجرا تصمیم بگیرد.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. هر 10 پاداش را بخوانید، نه فقط 6 پاداش اول را. دامنه‌ی این 10 مقدار از 0.5859375 تا 0.7578125 است، و مقادیر چهار گام پس از آن شش مقدارِ گزارش‌شده عبارت‌اند از: 0.6875، 0.67578125، 0.74609375 و 0.6484375. در دفترچه‌ی راهنما، گام‌های 0 تا 9 برای سه seed از همین دستورالعمل بررسی شده‌اند: پاداش‌ها بین 0.53 تا 0.74، با میانگین 0.62 تا 0.65 برای هر seed، و تغییراتی تا 0.14 از یک گام به گام بعد. افتی که بعد از گام 2 رخ داده، حرکتی در همین ابعاد است؛ به‌علاوه بعد از آن سه گام نزولی، چهار گام بدون افت ثبت شده است. قاعده‌ی دفترچه‌ی راهنما این است که میانگین را در پنج گام یا بیشتر بخوانید، نه با تکیه بر یک گام.
  2. شکاف را بخوانید. 10 مقدار train/train_rollout_logprob_abs_diff بین 0.014312651939690113 تا 0.01628461480140686 قرار دارند که دقیقاً درون بازه‌ی 0.0141 تا 0.0164ِ دفترچه‌ی راهنما برای گام‌های 0 تا 9 می‌گنجد. این سری کاملاً یکنواخت و مسطح است. اگر این شکاف گام‌به‌گام رشد می‌کرد، نشان می‌داد وزن‌های دو طرف با هم فرق دارند؛ این همان الگویی است که باید فوراً اجرا را به خاطرش متوقف کرد.
  3. نخستین خط کارایی را بخوانید. میانگین طول پاسخ‌ها 739.92578125 توکن و میانه‌ی آن 759.5 بوده است؛ بلندترین پاسخ به سقف 1024 رسیده و کوتاه‌ترین پاسخ 259 توکن بوده است. فیلد rollout/truncated_ratio برابر با 0.3203125 است؛ یعنی حدود یک‌سوم پاسخ‌ها به سقف خورده‌اند که در محدوده‌ی 0.19 تا 0.43 قرار می‌گیرد. فیلدهای rollout/zero_std/count_1 و rollout/zero_std/count_0 به ترتیب مقادیر 7 و 3 هستند: در 10 گروه از مجموع 32 گروه، همه‌ی پاسخ‌ها درست یا همگی نادرست بوده‌اند. این گروه‌ها چیزی به مدل یاد نمی‌دهند، اما بقیه‌ی گروه‌ها چرا.
  4. خط مربوط به مسیر پیش‌روی شبیه‌سازی‌شده‌ی 0 را بخوانید. مقدار rollout/rewards حدوداً منفی 1.6 در 10 به توان منفی 9 و rollout/advantages حدوداً 4.7 در 10 به توان منفی 10 است. الگوریتم GRPO میانگین پاداش هر گروه را از تک‌تک پاسخ‌ها کم می‌کند، بنابراین میانگین پاداش‌های مرکزیت‌یافته ماهیتاً و بر اساس ساختار فرمول صفر می‌شود؛ مزیت‌ها هم به همین شیوه مرکزیت‌بخشی (centering) می‌شوند. سیگنال واقعی در این خط rollout/raw_reward با مقدار 0.62890625 است؛ یعنی سهم پاسخ‌های درست، پیش از مرکزیت‌بخشی.
  5. خط گام 0 را بخوانید. مقدار train/loss دقیقاً به همین دلیل نزدیک به صفر است؛ چون مجموع مزیت‌ها در کل دسته (batch) صفر می‌شود. مقادیر train/pg_clipfrac و train/ppo_kl هر دو 0.0 هستند و در گام 0 هر دو باید هم صفر باشند؛ چون قبل از نخستین به‌روزرسانی هیچ برشی رخ نمی‌دهد و احتمالات قدیم و جدید با هم برابرند. مقدار train/grad_norm برابر با 0.5216571092605591 است که در بازه‌ی 0.35 تا 4.95 کل روند اجرا قرار می‌گیرد؛ این همان گرادیان است. شکاف ثبت‌شده در این خط، یعنی 0.015336457639932632، درون بازه‌ی 0.0148 تا 0.0157 قرار دارد که راهنما حاصل از 17 بار اجرای این مدل در گام 0 ثبت کرده است.
  6. چهار نشانه‌ی یک اجرای خراب را بررسی کنید. خطوط گام‌ها دارند چاپ می‌شوند، پس هر دو فرایند (process) شروع به کار کرده‌اند. هیچ خطایی از جنس 503 Service Unavailable که چند دقیقه پشت سر هم ادامه داشته باشد دیده نمی‌شود. شکاف رشد نمی‌کند. پاداش هم درجا نزده و امتیازهای بیشترِ آن 32 گروه پراکندگی دارند. هیچ‌یک از این چهار نشانه وجود ندارد.
نتیجه

این اجرا در تمام اعدادی که راهنما از شما می‌خواهد بخوانید سالم است و باید ادامه پیدا کند. پاداش در طول این 10 گام در بازه‌ی سه seed سالم قبلی است، شکاف مسطح و در محدوده است، نسبت پاسخ‌های قطع‌شده در محدوده است، نُرم گرادیان (gradient norm) در محدوده است و دو متغیر گام 0 که باید صفر باشند، صفرند. نزدیک به صفر بودن تابع زیان و مزیت‌ها حاصلِ مرکزیت‌بخشی است، نه نشانه‌ی بی‌رمق بودن اجرا.

قاعده‌ی توقف، جدول نشانه‌هاست نه سه پاداش اخیر: وقتی بیش از 10 دقیقه هیچ خطی برای گام‌ها چاپ نشود، خطوط خطا چند دقیقه پی‌درپی قطع نشوند، شکاف گام‌به‌گام بالا برود، یا پاداش درجا بزند در حالی که بیشتر گروه‌ها امتیاز یکسانی دارند، اجرا را متوقف کنید. برای دیدن روند کلی، میانگین‌ها را روی پنج گام یا بیشتر بخوانید و انتظار همان چیزی را داشته باشید که سه seed در اجرای طولانی‌تر نشان دادند: پاداش بالا رفت، پاسخ‌ها کوتاه‌تر شدند (از حدود 720 به حدود 460 توکن) و شکاف مسطح باقی ماند.

مسیرهای اشتباه رایج
  • «سه گام افت کرده، نرخ یادگیری را نصف کن.» تغییر تا 0.14 بین دو گام در این پیکربندی طبیعی است و نُرم گرادیان در محدوده‌ی خودش قرار دارد. تغییر نرخ یادگیری در اینجا، پاسخ دادن به نویز با اضافه کردن یک متغیر جدید است و باعث می‌شود نتوان اجرای بعدی را با این اجرا مقایسه کرد.
  • «تابع زیان صفر است، پس هیچ یادگیری‌ای انجام نمی‌شود.» مزیت‌ها در هر گروه مرکزیت‌یافته شده‌اند و مجموعشان صفر می‌شود؛ به همین دلیل تابع زیان ماهیتاً نزدیک به صفر است. نُرم گرادیان با مقدار 0.5216571092605591 اثبات می‌کند که به‌روزرسانی انجام شده است.
  • «یک‌سوم پاسخ‌ها قطع شده‌اند، سقف طول پاسخ را بالا ببر.» سهم 0.3203125 برای پاسخ‌های قطع‌شده در بازه‌ی 0.19 تا 0.43 است، و با یادگیری مدل برای ارائه‌ی پاسخ‌های کوتاه‌تر، خودبه‌خود پایین می‌آید. بالا بردن سقف، فقط همه‌ی مسیرهای پیش‌روی شبیه‌سازی‌شده را کندتر می‌کند.
  • «10 گروه از 32 گروه هیچ سیگنالی نمی‌دهند، پس داده‌ها برای این مدل مناسب نیستند.» این گروه‌ها فقط زمان شبیه‌سازی را مصرف می‌کنند و چیزی یاد نمی‌دهند، اما بقیه‌ی گروه‌ها همچنان آموزش می‌دهند. نشانه‌ای که باید بر اساس آن دست به عمل زد، درجا زدن پاداش هم‌زمان با یکسان شدن امتیازهای اکثر گروه‌هاست؛ در حالی که پاداش در اینجا درجا نزده است.
درس کلی

یک عددِ تنها در یک گام، تقریباً هیچ‌چیز به شما نمی‌گوید؛ جالب اینکه عددی که همه اول از همه سراغش می‌روند، یعنی پاداش، دیرتر از همه ایراد را نشان می‌دهد. فهرستی کوتاه از سیگنال‌ها به همراه محدوده‌ی سالم هرکدام بر اساس seedهای خودتان بسازید، و قبل از اینکه دست به یک اجرا بزنید، آن‌ها را در کنار هم بخوانید. بدانید کدام مقادیر به دلیل ساختار فرمول صفر می‌شوند تا صفر بودن آن‌ها را به‌اشتباه مرگ اجرا نبینید، و تصمیم به توقف را از روی نشانه‌های خرابی بگیرید، نه از روی یک افت موقت.

کجای دوره آموزش داده می‌شود

راهنمای Miles این پنج عدد و محدوده‌ی آن‌ها را در صفحه‌ی ده گام نخست، صفر بودن کسر برش و واگرایی KL در گام 0 را در صفحه‌ی بررسی گام اول، هشت سیگنال یک اجرا را در صفحه‌ی خواندن اجرا و نویز بین seedها را در صفحه‌ی تکرار توضیح می‌دهد.