هشت سیگنال در لاگ وجود دارد که ظرف چند دقیقه به شما میگویند آیا فرایند اجرا سالم است یا نه.
پاداش (reward) اولین سیگنالی است که همه بررسی میکنند، اما دیرتر از بقیه نشان میدهد که مشکلی پیش آمده است. هفت سیگنال دیگر خرابی اجرا را خیلی زودتر آشکار میکنند.
با پایان این بخش، میتوانید سلامت یک اجرا را از روی سیگنالهای ثبتشده در لاگ تشخیص دهید و مشخص کنید کدام تغییرات نیاز به اقدام دارند.
هشت سیگنال اصلی
این بازهها مربوط به کل 48 گام در سه سیدِ (seed) خط مبنای ما هستند. در این اجراها، مدل Qwen3-0.6B روی GSM8K آموزش داده شد؛ با 32 پرامپت که هرکدام 8 پاسخ داشتند و سقف طول روی 1,024 توکن تنظیم شده بود.
| سیگنال | نام در لاگ | بازه در اجراهای ما | رفتار در یک اجرای سالم |
|---|---|---|---|
| پاداش | rollout/raw_reward |
0.53 تا 0.87 در هر گام | در طول اجرا صعودی است، با نوسان بین گامها |
| طول پاسخ | rollout/response_lengths |
396 تا 787 توکن | با یادگیری پاسخهای کوتاهتر توسط مدل، کاهش مییابد |
| سهم توکنهای بریدهشده | rollout/truncated |
0.02 تا 0.43 | همگام با طول پاسخ کاهش مییابد |
| شکاف | train/train_rollout_logprob_abs_diff |
0.0136 تا 0.0164 | ثابت میماند |
| دیورژانس KL تا موتور | train/train_rollout_kl |
0.00063 تا 0.00076 | ثابت میماند |
| نُرم گرادیان | train/grad_norm |
0.35 تا 4.95 | در یک بازه میماند، با جهشهای مقطعی نادر |
| کسر برش | train/pg_clipfrac |
0 | با یک بهروزرسانی به ازای هر مسیر پیشروی شبیهسازیشده روی 0 میماند |
| زمان مسیر شبیهسازی | perf/rollout_time |
با تغییر طول و دما تغییر میکند | همگام با طول پاسخ کاهش مییابد |
کسر برش (Clip fraction): سهم توکنهایی که بهروزرسانی آنها به حد آستانهی برش برخورد کرده است. اجراهای ما به ازای هر مسیر پیشروی شبیهسازیشده (rollout) یک بهروزرسانی بهینهساز انجام دادند؛ بنابراین، سیاست بخش آموزش دقیقاً همان سیاستی ماند که به نمونهها امتیاز داده بود و هیچ توکنی برش نخورد.
اجراهای ما train/entropy_loss را در تمام گامها برابر با 0 ثبت کردند؛ بنابراین این پیکربندی، آنتروپی مدل را نشان نمیدهد.
روندها را بخوانید، نه تکتک گامها را
در اجراهای ما، مقدار پاداش از یک گام به گام بعدی تا 0.21 تغییر میکرد. بررسی یک گامِ تکی اطلاعات چندانی به شما نمیدهد؛ همیشه میانگین پنج گام یا بیشتر را در نظر بگیرید.
هر سه سید روند یکسانی را نشان دادند: پاداش افزایش یافت و پاسخها کوتاهتر شدند. بخش 5.3 اعداد و ارقام دقیق هر سید را آورده است.
ارسال سیگنالها به داشبورد
برای ده گام، همان لاگ متنی کافی است؛ اما برای یک اجرای طولانی، خواندن داشبورد بسیار راحتتر است. Miles میتواند همین معیارهای train/، rollout/ و perf/ را در Weights & Biases یا TensorBoard ثبت کند. ما تمام اعداد این راهنما را مستقیماً از لاگ خواندهایم. هر دو ابزار ردگیری را هم با یک اجرای 2 گامی روی سرور GB10 خود آزمایش کردهایم.
برای استفاده از Weights & Biases بدون نیاز به حساب کاربری یا شبکه، دادههای اجرا را در یک پوشهی محلی ذخیره کنید:
-e MILES_EXTRA_ARGS="--use-wandb --wandb-mode offline --wandb-project miles-lab --wandb-group plain --wandb-dir /root/lab/runs/plain/wandb"
آرگومان --wandb-group را نگه دارید؛ بدون آن، اجرا همان ابتدا با خطای TypeError: unsupported operand type(s) for +: 'NoneType' and 'str' متوقف میشود. در لاگ باید عبارت W&B offline mode enabled. Data will be saved locally. دیده شود و پوشهای با پیشوند -offline-run در مسیر ~/miles-lab/runs/plain/wandb/wandb/ ساخته شود.
برای اجرای آنلاین، آرگومان --wandb-mode offline را حذف کنید. کلید دسترسی را مستقیماً در خط فرمان نگذارید، چون دستورات در تاریخچهی شل (shell history) و فهرست فرایندها ثبت میشوند. عبارت WANDB_API_KEY=<your key> را در فایلی قرار دهید که فقط خودتان دسترسی خواندن آن را دارید (مثلاً ~/miles-lab/wandb.env با سطح دسترسی 600) و سپس --env-file ~/miles-lab/wandb.env را به دستور docker run اضافه کنید. کلید را در MILES_EXTRA_ARGS نگذارید، چون اجراکننده دستور کامل را در لاگ چاپ میکند.
برای TensorBoard، یک مسیر پوشه به Miles بدهید و نویسندهی لاگ را فعال کنید:
-e TENSORBOARD_DIR=/root/lab/runs/plain/tb -e MILES_EXTRA_ARGS="--use-tensorboard"
در لاگ باید پیام Saving tensorboard log to /root/lab/runs/plain/tb. چاپ شود. سپس روی سیستم میزبان، با اجرای دستور tensorboard --logdir ~/miles-lab/runs/plain/tb آن را باز کنید.
اقدام در مواجهه با این تغییرات
| تغییر | علت احتمالی | اولین بررسی |
|---|---|---|
| شکاف ناگهان جهش میکند و بالا میماند | موتور و بخش آموزش دیگر از وزنهای یکسانی استفاده نمیکنند | لاگهای بهروزرسانی وزنها و بخش 5.2 |
| نُرم گرادیان گام به گام بزرگتر میشود | نرخ یادگیری برای این دسته (batch) بیش از حد بالا است | کاهش نرخ یادگیری و تکرار اجرا |
| پاداش کاهش مییابد و طول پاسخ بیشتر میشود | مدل یاد گرفته به جای پاسخ بهتر، طولانیتر بنویسد | تابع پاداش و سهم توکنهای بریدهشده |
| کسر برش با وجود یک بهروزرسانی در هر مسیر شبیهسازی بالاتر از 0 است | نمونهها با وزنهای فعلی تولید نشدهاند | فاصلهی زمانی بهروزرسانیها و تنظیمات ناهمگام (async) |
| زمان مسیر شبیهسازی با وجود ثابت ماندن طول پاسخ افزایش مییابد | موتور یا GPU کُندتر شده است | لاگ دمای سختافزار و لاگ موتور |
همیشه بازههای اختصاصی خودتان را داشته باشید. این اعداد مختص مدل، داده و سختافزار ما هستند. دو یا سه سید از ستاپ خودتان را اجرا کنید و بازههای بهدستآمده از آنها را مبنا قرار دهید.
منابع: capture/gpu/summary/miles-gb10-lab.json (شامل runs.plain-48، runs.plain-48-s2 و runs.plain-48-s3)؛ Miles main 08752a12 فایلهای miles/backends/training_utils/loss/hub/losses.py، miles/backends/training_utils/metrics/log_utils.py، miles/ray/rollout/metrics.py، miles/utils/arguments.py، miles/utils/tracking_utils/tracking.py، miles/utils/tracking_utils/wandb_utils.py، miles/utils/tracking_utils/tensorboard_utils.py، docs/user-guide/monitoring.md؛ capture/gpu/out-gb10/tracker-eval-checks.txt (بررسی زنده در تاریخ 2026-10-23).