مرجع R.2

سنجه‌ها

Metrics

فهرست مطالب
  1. مسیر پیش‌روی شبیه‌سازی‌شده (Rollout)
  2. آموزش (Training)
  3. زمان (Time)
  4. ارزیابی و حالت ناهمگام (Evaluation and async)

سنجه‌هایی که این راهنما می‌خواند، همراه با بازه‌ی مقادیر آن‌ها روی ستاپ ما.

این بازه‌ها حاصل اجراهای آزمایشگاهی ما هستند: مدل Qwen3-0.6B روی GSM8K با یک پردازنده‌ی گرافیکی GB10، تعداد 32 پرامپت (prompt) که به ازای هرکدام 8 پاسخ تولید شده است، و سقف 1,024 توکن (token). این اعداد مختص همین ستاپ‌اند. برای ستاپ خودتان، بر اساس دو یا سه سید (seed) مختلف بازه‌های اختصاصی بسازید.

مسیر پیش‌روی شبیه‌سازی‌شده (Rollout)

سنجه مفهوم بازه‌ی ما
rollout/raw_reward میانگین پاداش در هر گام 0.53 تا 0.87 در هر گام در طول 48 گام
rollout/response_lengths میانگین طول پاسخ بر حسب توکن 396 تا 787
rollout/truncated سهم پاسخ‌هایی که به سقف طول مجاز رسیده‌اند 0.02 تا 0.43

آموزش (Training)

سنجه مفهوم بازه‌ی ما
train/train_rollout_logprob_abs_diff میانگین قدر مطلق اختلاف بین لاگ احتمال‌های ترینر (trainer) و موتور به‌ازای هر توکن 0.0136 تا 0.0164 با نمونه‌برداری ساده
train/train_rollout_kl دیورژانس کولبک-لایبلر (KL) بین توزیع‌های موتور و ترینر روی توکن‌های نمونه‌برداری‌شده 0.00063 تا 0.00076
train/grad_norm نُرم گرادیان (gradient norm) 0.35 تا 4.95
train/pg_clipfrac سهم توکن‌هایی که آپدیت آن‌ها به سقف برش (clip) رسیده است 0 در تمام گام‌ها
train/ppo_kl دیورژانس KL بین احتمال‌های قدیم و جدید ترینر 0 در گام 0 در یک اجرای سالم
train/entropy_loss ترم انتروپی در تابع زیان (loss) 0 در اجراهای ما

زمان (Time)

سنجه مفهوم مقدار ما
perf/step_time زمان کل گام میانه‌ی 152.6 ثانیه در 48 گام، در اجرایی پیش از اعمال محافظ حرارتی
perf/rollout_time فاز مسیر پیش‌روی شبیه‌سازی‌شده میانه‌ی 47.5 ثانیه در 48 گام، در اجرایی پیش از اعمال محافظ حرارتی
perf/log_probs_time امتیازدهی ترینر به نمونه‌ها میانه‌ی 23.4 ثانیه در 48 گام، در اجرایی پیش از اعمال محافظ حرارتی
perf/train_time فاز آموزش به همراه امتیازدهی میانه‌ی 100.3 ثانیه در 48 گام، در اجرایی پیش از اعمال محافظ حرارتی
perf/update_weights_time کپی وزن‌های جدید در موتور 0.63 تا 0.65 ثانیه برای Qwen3-0.6B
perf/sleep_time انتقال وضعیت ترینر به حافظه‌ی هاست (host) پس از آموزش میانه‌ی 0.76 ثانیه در 48 گام برای Qwen3-0.6B، و 1.9 تا 3.7 ثانیه در دو گام اول همان اجرای 48 گامی
perf/wake_up_time بازگرداندن وضعیت ترینر پیش از محاسبه‌ی لاگ احتمال‌ها میانه‌ی 0.87 ثانیه در 48 گام برای Qwen3-0.6B
perf/train_wait_time مدت‌زمانی که ترینر منتظر نمونه‌ها می‌ماند در هر گام لاگ می‌شود

مقادیر زمانی فقط برای گام‌هایی معتبرند که هیچ وقفه‌ای ناشی از محافظ حرارتی روی آن‌ها اثر نگذاشته باشد. یادداشت‌های آزمایشگاه قاعده‌ی آن را توضیح می‌دهد.

ارزیابی و حالت ناهمگام (Evaluation and async)

سنجه مفهوم
eval/lag_steps تعداد گام‌هایی که ارزیابی روی ناوگان (fleet) اختصاصی با تاخیر تمام شده است
آماره‌های نسخه‌ی وزن در سنجه‌های rollout میزان قدیمی‌بودن نمونه‌های یک اجرای ناهمگام (async)

ما ارزیابی یا آموزش ناهمگام را اجرا نکردیم، بنابراین این جدول بازه‌ی عددی ندارد.

منابع: capture/gpu/summary/miles-gb10-lab.json (شامل runs.plain-48، runs.plain-48-s2، runs.plain-48-s3، runs.e4-0.6b)؛ capture/gpu/out-gb10/thermostat.log؛ کدهای تابع زیان، سنجه و ارزیابی Miles در main 08752a12.

ترجمه‌ی فارسی Metrics از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما