اگر به جای نگاه کردنِ صرف به پاداش، 5 عدد را بخوانید، 10 گام کافی است تا یک اجرای سالم GRPO را از اجرای خراب تشخیص دهید.
پاداش در گامهای اول مدام بالا و پایین میشود و خیلی راحت ممکن است روی یک گام تکی حساب بیشازحد باز کنید. 5 عدد در لاگ اطلاعات بسیار بیشتری به شما میدهند. هر کدام از این اعداد روی این پیکربندی یک بازهی سالم دارد و خرابی هر کدام هم به شکلی متفاوت خود را نشان میدهد.
پس از پایان این بخش، میتوانید 5 عدد کلیدی را از لاگِ اجرا استخراج کنید، آنها را با بازههای سالم ما بسنجید و دربارهی سلامت اجرا تصمیم بگیرید.
نتیجهی ما: در 10 گام اول با 3 دانه (Seed)، پاداش در هر گام بین 0.53 تا 0.74 و شکاف لگاریتم احتمال (Log probability gap) بین 0.0141 تا 0.0164 بود.
استخراج اعداد از لاگ
هر گام اعداد خود را در 2 سطر مینویسد: یک سطر rollout N برای نمونهها و یک سطر step N برای بهروزرسانیِ آموزش. با دستور cd ~/miles-lab/runs به پوشهی لاگ در بخش 1.1 بروید. سپس با grep، روند تغییر یکی از این اعداد را در طول گامها بخوانید:
$ grep -o "'rollout/raw_reward': [0-9.]*" plain.log | head -10
'rollout/raw_reward': 0.62890625
'rollout/raw_reward': 0.59375
'rollout/raw_reward': 0.7578125
…
$ grep -o "'train/train_rollout_logprob_abs_diff': [0-9.]*" plain.log | head -10
'train/train_rollout_logprob_abs_diff': 0.015336457639932632
'train/train_rollout_logprob_abs_diff': 0.01610221341252327
'train/train_rollout_logprob_abs_diff': 0.014312651939690113
…پاداش و شکاف لگاریتم احتمال از اجرای 12 گامه ما. هر خط معرف یک گام است.
برای خواندن هر عدد دیگر، کافی است نام شاخص را در این الگو عوض کنید.
مقایسه با بازههای سالم
دیورژانس KL: دیورژانس کولبک-لایبلر (Kullback-Leibler divergence)، معیاری برای سنجش فاصله میان 2 توزیع احتمالاتی است. وقتی هر 2 توزیع کاملاً یکسان باشند، این مقدار برابر با 0 میشود.
ما همین کار 48گامه را با 3 دانه اجرا کردیم. اینها مقادیر مربوط به 10 گام اول در هر 3 اجرا هستند:
| شاخص | نام در لاگ | بازهی سالم در گامهای 0 تا 9 | مفهوم شاخص |
|---|---|---|---|
| پاداش | rollout/raw_reward |
0.53 تا 0.74، میانگین 0.62 تا 0.65 برای هر دانه | سهم پاسخهای درست |
| طول پاسخ | rollout/response_lengths |
626 تا 787 توکن | میزان پرحرفی مدل |
| سهم پاسخهای قطعشده | rollout/truncated |
0.19 تا 0.43 | سهم پاسخهایی که به سقف 1,024 توکن برخورد کردهاند |
| شکاف لگاریتم احتمال | train/train_rollout_logprob_abs_diff |
0.0141 تا 0.0164 | میزان اختلاف نظر بخش آموزشدهنده و موتور روی همان توکنها |
| دیورژانس KL میان آموزشدهنده و موتور | train/train_rollout_kl |
0.00063 تا 0.00075 | همان اختلاف نظر، در قالب فاصلهی میان 2 توزیع احتمال |
شکاف لگاریتم احتمال: میانگین قدرمطلق تفاوت میان لگاریتم احتمالی است که موتور به هر توکن نمونهبرداریشده داده و مقداری که بخش آموزشدهنده (Trainer) محاسبه میکند. از آنجا که دو طرف از کرنلهای متفاوتی استفاده میکنند، این مقدار هرگز صفر نمیشود.
در 10 گام اول، پاداش از گامی به گام دیگر تا 0.14 جابهجا شد؛ این جابهجایی در طول 48 گام به 0.21 هم رسید. پس میانگینِ 5 گام یا بیشتر را بخوانید، نه فقط یک گام را.
بررسی روند در طول اجرای کامل
در طول 48 گام، هر 3 دانه روند یکسانی را طی کردند. پاداش افزایش یافت، پاسخها کوتاهتر شدند، پاسخهای کمتری به سقف طول برخورد کردند و شکاف لگاریتم احتمال نیز ثابت ماند. بخش 5.3 اعداد و ارقام مربوط به هر دانه را آورده است.
نشانههای اجرای خراب
| آنچه میبینید | مفهوم آن | به کجا مراجعه کنید |
|---|---|---|
| ثبت نشدن هیچ سطری برای گامها بعد از 10 دقیقه | موتور یا بخش آموزشدهنده اصلاً شروع به کار نکردهاند | بخش 7.1 |
سطرهای 503 Service Unavailable که چند دقیقه بیوقفه ادامه دارند |
موتور مسیر پیشروی شبیهسازیشده (Rollout engine) از کار افتاده است. وقفههای کوتاهِ 1 دقیقهای یا کمتر ممکن است از یک موتور کاملاً سالم هم سر بزند | بخش 1.2 |
| شکاف لگاریتم احتمال گامبهگام بیشتر میشود | وزنهای بخش آموزشدهنده و موتور با یکدیگر همخوانی ندارند | بخش 5.2 |
| پاداش ثابت میماند و گروههای زیادی امتیاز یکسانی میگیرند | بیشتر گروهها هیچ سیگنال یادگیری ارائه نمیدهند | بخش 3.1 |
بررسی ردیف آخر به یک عدد دیگر نیاز دارد. بخش مسیر پیشروی شبیهسازیشده برای هر گام یک سطر perf N مینویسد و گروههایی را میشمارد که تمام پاسخهای آنها پاداش یکسانی گرفتهاند. در گام اول ما، مقدار rollout/zero_std/count_1 برابر با 7 و rollout/zero_std/count_0 برابر با 3 بود. بنابراین در 10 گروه از 32 گروه، همهی پاسخها یا کاملاً درست بودند یا کاملاً غلط؛ و GRPO از چنین گروههایی هیچ چیز یاد نمیگیرد.
منابع: capture/gpu/out-gb10/read-steps.txt؛ capture/gpu/out-gb10/plain-first-step.log؛ capture/gpu/summary/miles-gb10-lab.json (شامل runs.plain-48، runs.plain-48-s2، runs.plain-48-s3)؛ شاخصهای مسیر پیشروی شبیهسازیشدهی Miles در main 08752a12.