بخش 1.3 · شروع

خواندن 10 گام اول

Read your first ten steps

فهرست مطالب
  1. استخراج اعداد از لاگ
  2. مقایسه با بازه‌های سالم
  3. بررسی روند در طول اجرای کامل
  4. نشانه‌های اجرای خراب

اگر به جای نگاه کردنِ صرف به پاداش، 5 عدد را بخوانید، 10 گام کافی است تا یک اجرای سالم GRPO را از اجرای خراب تشخیص دهید.

پاداش در گام‌های اول مدام بالا و پایین می‌شود و خیلی راحت ممکن است روی یک گام تکی حساب بیش‌ازحد باز کنید. 5 عدد در لاگ اطلاعات بسیار بیشتری به شما می‌دهند. هر کدام از این اعداد روی این پیکربندی یک بازه‌ی سالم دارد و خرابی هر کدام هم به شکلی متفاوت خود را نشان می‌دهد.

پس از پایان این بخش، می‌توانید 5 عدد کلیدی را از لاگِ اجرا استخراج کنید، آن‌ها را با بازه‌های سالم ما بسنجید و درباره‌ی سلامت اجرا تصمیم بگیرید.

نتیجه‌ی ما: در 10 گام اول با 3 دانه (Seed)، پاداش در هر گام بین 0.53 تا 0.74 و شکاف لگاریتم احتمال (Log probability gap) بین 0.0141 تا 0.0164 بود.

استخراج اعداد از لاگ

هر گام اعداد خود را در 2 سطر می‌نویسد: یک سطر rollout N برای نمونه‌ها و یک سطر step N برای به‌روزرسانیِ آموزش. با دستور cd ~/miles-lab/runs به پوشه‌ی لاگ در بخش 1.1 بروید. سپس با grep، روند تغییر یکی از این اعداد را در طول گام‌ها بخوانید:

دو عدد در ده گام اول capture/gpu/out-gb10/read-steps.txt
$ grep -o "'rollout/raw_reward': [0-9.]*" plain.log | head -10
'rollout/raw_reward': 0.62890625
'rollout/raw_reward': 0.59375
'rollout/raw_reward': 0.7578125
…
$ grep -o "'train/train_rollout_logprob_abs_diff': [0-9.]*" plain.log | head -10
'train/train_rollout_logprob_abs_diff': 0.015336457639932632
'train/train_rollout_logprob_abs_diff': 0.01610221341252327
'train/train_rollout_logprob_abs_diff': 0.014312651939690113
…

پاداش و شکاف لگاریتم احتمال از اجرای 12 گامه ما. هر خط معرف یک گام است.

برای خواندن هر عدد دیگر، کافی است نام شاخص را در این الگو عوض کنید.

مقایسه با بازه‌های سالم

دیورژانس KL: دیورژانس کولبک-لایبلر (Kullback-Leibler divergence)، معیاری برای سنجش فاصله میان 2 توزیع احتمالاتی است. وقتی هر 2 توزیع کاملاً یکسان باشند، این مقدار برابر با 0 می‌شود.

ما همین کار 48گامه را با 3 دانه اجرا کردیم. این‌ها مقادیر مربوط به 10 گام اول در هر 3 اجرا هستند:

شاخص نام در لاگ بازه‌ی سالم در گام‌های 0 تا 9 مفهوم شاخص
پاداش rollout/raw_reward 0.53 تا 0.74، میانگین 0.62 تا 0.65 برای هر دانه سهم پاسخ‌های درست
طول پاسخ rollout/response_lengths 626 تا 787 توکن میزان پرحرفی مدل
سهم پاسخ‌های قطع‌شده rollout/truncated 0.19 تا 0.43 سهم پاسخ‌هایی که به سقف 1,024 توکن برخورد کرده‌اند
شکاف لگاریتم احتمال train/train_rollout_logprob_abs_diff 0.0141 تا 0.0164 میزان اختلاف نظر بخش آموزش‌دهنده و موتور روی همان توکن‌ها
دیورژانس KL میان آموزش‌دهنده و موتور train/train_rollout_kl 0.00063 تا 0.00075 همان اختلاف نظر، در قالب فاصله‌ی میان 2 توزیع احتمال

شکاف لگاریتم احتمال: میانگین قدرمطلق تفاوت میان لگاریتم احتمالی است که موتور به هر توکن نمونه‌برداری‌شده داده و مقداری که بخش آموزش‌دهنده (Trainer) محاسبه می‌کند. از آنجا که دو طرف از کرنل‌های متفاوتی استفاده می‌کنند، این مقدار هرگز صفر نمی‌شود.

در 10 گام اول، پاداش از گامی به گام دیگر تا 0.14 جابه‌جا شد؛ این جابه‌جایی در طول 48 گام به 0.21 هم رسید. پس میانگینِ 5 گام یا بیشتر را بخوانید، نه فقط یک گام را.

بررسی روند در طول اجرای کامل

در طول 48 گام، هر 3 دانه روند یکسانی را طی کردند. پاداش افزایش یافت، پاسخ‌ها کوتاه‌تر شدند، پاسخ‌های کمتری به سقف طول برخورد کردند و شکاف لگاریتم احتمال نیز ثابت ماند. بخش 5.3 اعداد و ارقام مربوط به هر دانه را آورده است.

پاداش طی 48 گام، سه seedپاداش در هر گام نوسان دارد، اما روند کلی طی 48 گام برای همه seedها صعودی است.
پاداش طی 48 گام، سه seed میانگین پاداش در هر گام برای سه seed از یک اجرای GRPO روی Qwen3-0.6B و GSM8K. هر گام نوسان دارد، اما روند کلی برای هر سه seed صعودی است. 0.5 0.6 0.7 0.8 0.9 0 12 24 36 47 گام میانگین پاداش گام seed 1234 seed 2 seed 3 رشد 8 گام آخر نسبت به 8 گام اول: 0.122+، 0.083+، 0.151+.
میانگین پاداش در هر گام برای سه seed از یک اجرا.
کوتاه‌تر شدن پاسخ‌ها همگام با یادگیری مدلمیانگین طول پاسخ از حدود 720 به حدود 460 توکن کاهش می‌یابد؛ بنابراین پاسخ‌های کمتری به سقف 1,024 توکن برخورد می‌کنند.
کوتاه‌تر شدن پاسخ‌ها همگام با یادگیری مدل میانگین طول پاسخ بر حسب توکن در هر گام برای سه seed. سقف مجاز 1,024 توکن است. پاسخ‌ها از حدود 720 توکن شروع شده و نزدیک 460 پایان می‌یابند، بنابراین پاسخ‌های کمتری به سقف می‌رسند. 400 500 600 700 800 0 12 24 36 47 گام میانگین طول پاسخ، توکن seed 1234 seed 2 seed 3 درصد پاسخ‌های قطع‌شده در سقف: 33 به 8؛ 30 به 12؛ 34 به 9.
میانگین طول پاسخ در هر گام برای همان سه seed.

نشانه‌های اجرای خراب

آنچه می‌بینید مفهوم آن به کجا مراجعه کنید
ثبت نشدن هیچ سطری برای گام‌ها بعد از 10 دقیقه موتور یا بخش آموزش‌دهنده اصلاً شروع به کار نکرده‌اند بخش 7.1
سطرهای 503 Service Unavailable که چند دقیقه بی‌وقفه ادامه دارند موتور مسیر پیش‌روی شبیه‌سازی‌شده (Rollout engine) از کار افتاده است. وقفه‌های کوتاهِ 1 دقیقه‌ای یا کمتر ممکن است از یک موتور کاملاً سالم هم سر بزند بخش 1.2
شکاف لگاریتم احتمال گام‌به‌گام بیشتر می‌شود وزن‌های بخش آموزش‌دهنده و موتور با یکدیگر هم‌خوانی ندارند بخش 5.2
پاداش ثابت می‌ماند و گروه‌های زیادی امتیاز یکسانی می‌گیرند بیشتر گروه‌ها هیچ سیگنال یادگیری ارائه نمی‌دهند بخش 3.1

بررسی ردیف آخر به یک عدد دیگر نیاز دارد. بخش مسیر پیش‌روی شبیه‌سازی‌شده برای هر گام یک سطر perf N می‌نویسد و گروه‌هایی را می‌شمارد که تمام پاسخ‌های آن‌ها پاداش یکسانی گرفته‌اند. در گام اول ما، مقدار rollout/zero_std/count_1 برابر با 7 و rollout/zero_std/count_0 برابر با 3 بود. بنابراین در 10 گروه از 32 گروه، همه‌ی پاسخ‌ها یا کاملاً درست بودند یا کاملاً غلط؛ و GRPO از چنین گروه‌هایی هیچ چیز یاد نمی‌گیرد.

منابع: capture/gpu/out-gb10/read-steps.txt؛ capture/gpu/out-gb10/plain-first-step.log؛ capture/gpu/summary/miles-gb10-lab.json (شامل runs.plain-48، runs.plain-48-s2، runs.plain-48-s3)؛ شاخص‌های مسیر پیش‌روی شبیه‌سازی‌شده‌ی Miles در main 08752a12.

ترجمه‌ی فارسی Read your first ten steps از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما