مرجع R.1

فلگ‌ها بر اساس کاربرد

Flags by job

فهرست مطالب
  1. مدل و داده
  2. مسیر پیش‌روی شبیه‌سازی‌شده (Rollout)
  3. پاداش و تابع زیان
  4. جایابی و حافظه
  5. موتور
  6. بررسی‌ها و اشکال‌زدایی

فلگ‌های Miles که در این راهنما به کار رفته‌اند، دسته‌بندی‌شده بر اساس کاری که انجام می‌دهند.

ستون مقدار، تنظیمات اجراهای آزمایشگاهی ما را در مواردی که مقداردهی شده‌اند نشان می‌دهد. خط تیره به این معناست که در اجراهای ما این فلگ تنظیم نشده است.

مدل و داده

فلگ مقدار ما وظیفه و کاربرد
--hf-checkpoint پوشه‌ی Qwen3-0.6B مدلی که موتور و ترینر FSDP بارگذاری می‌کنند
--prompt-data فایل آموزشی GSM8K پرامپت‌ها
--input-key، --label-key messages، label فیلدهای هر ردیف داده
--apply-chat-template فعال (on) قرار دادن هر پرامپت در الگوی چت (chat template) مدل
--rollout-shuffle فعال (on) بر زدن پرامپت‌ها

مسیر پیش‌روی شبیه‌سازی‌شده (Rollout)

فلگ مقدار ما وظیفه و کاربرد
--num-rollout 12، 24 یا 48، و 4 در اجراهای بررسی اندازه‌ی مدل تعداد گام‌ها
--rollout-batch-size 32 تعداد پرامپت‌ها در هر گام
--n-samples-per-prompt 8 تعداد پاسخ‌ها به ازای هر پرامپت
--rollout-max-response-len 1024، و 256 در اجراهای بررسی اندازه‌ی مدل سقف طول پاسخ بر حسب توکن
--rollout-temperature 1 دمای نمونه‌برداری
--rollout-top-p، --rollout-top-k 0.95، 64 در یک اجرا نمونه‌گیر، و بازپخش نمونه‌برداری در صورت تنظیم شدن
--rollout-num-gpus-per-engine 1 تعداد GPU به ازای هر موتور
--rollout-seed سید (seed) اجرا سید نمونه‌برداری
--partial-rollout - ادامه‌ی پاسخ‌های طولانی در گامی جلوتر
--over-sampling-batch-size - دسته‌ی پرامپت‌های جدید وقتی تعداد گروه‌های کامل‌شده کافی نیست
--dynamic-sampling-filter-path - فیلتر گروه

پاداش و تابع زیان

فلگ مقدار ما وظیفه و کاربرد
--rm-type math پاداش توکار
--custom-rm-path - تابع پاداش اختصاصی شما
--advantage-estimator grpo روش محاسبه‌ی مزیت (advantage)
--global-batch-size 256 نمونه‌ها به ازای هر گام بهینه‌ساز
--eps-clip، --eps-clip-high 0.2، 0.28 محدوده‌ی برش (clip range) در به‌روزرسانی
--kl-loss-coef، --kl-coef، --entropy-coef 0 جملات مربوط به KL و آنتروپی
--lr 1e-6 نرخ یادگیری، ثابت
--use-tis، --tis-clip - نمونه‌برداری اهمیتی کوتاه‌شده (truncated importance sampling)
--use-rollout-routing-replay - بازپخش مسیریابی برای مدل‌های MoE

جایابی و حافظه

فلگ مقدار ما وظیفه و کاربرد
--colocate فعال (on) قرارگیری ترینر و موتور روی یک GPU مشترک، همراه با تخلیه‌ی حافظه (offload)
--train-backend fsdp بک‌اند آموزش
--actor-num-nodes، --actor-num-gpus-per-node 1، 1 پردازنده‌های گرافیکی ترینر
--sglang-mem-fraction-static 0.4، 0.25 در سه اجرا، 0.2 در یک اجرای مدل 4B سهم موتور از حافظه‌ی GPU
--offload-rollout-level مقدار پیش‌فرض، kv_cache در یک اجرا آن بخش از حافظه که موتور در فاصله‌ی بین فازها آزاد می‌کند
--no-offload-rollout، --no-offload-train در دو اجرا و در یک اجرا بارگذاری‌شده نگه‌داشتن یکی از دو بخش
--update-weight-buffer-size 536870912 بافر به‌روزرسانی وزن‌ها بر حسب بایت
--update-weight-transfer-mode - روش انتقال وزن‌ها در معماری تفکیک‌شده (split layout)

موتور

فلگ مقدار ما وظیفه و کاربرد
--sglang-attention-backend پیش‌فرض، یا triton یا flashinfer کرنل اتنشن موتور
--sglang-enable-deterministic-inference در سه اجرا کرنل‌های قطعی در موتور
--sglang-enable-metrics فعال (on) متریک‌های عملکردی موتور
--use-session-server - نشست‌های دریافت-توکن و ارسال-توکن برای ایجنت‌ها
--use-miles-router - استفاده از مسیریاب پایتونی به جای گزینه‌ی پیش‌فرض

بررسی‌ها و اشکال‌زدایی

فلگ مقدار ما وظیفه و کاربرد
--seed سیدِ اجرا سید ترینر
--save-debug-event-data یک پوشه به ازای هر اجرا رویدادهای هر گام
--save-debug-rollout-data، --load-debug-rollout-data - ذخیره و بازپخش نمونه‌های مسیر پیش‌روی شبیه‌سازی‌شده
--debug-train-only، --debug-rollout-only - اجرای مجزای هر یک از بخش‌ها به‌تنهایی
--check-weight-update-equal - مقایسه‌ی وزن‌های موتور و ترینر پس از نخستین به‌روزرسانی
--use-fault-tolerance، --ft-components - تاب‌آوری در برابر خطا (fault tolerance)
--save، --save-interval، --load - چک‌پوینت‌ها

منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/engine-settings.txt؛ آرگومان‌های Miles در main 08752a12.

ترجمه‌ی فارسی Flags by job از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما