فلگهای Miles که در این راهنما به کار رفتهاند، دستهبندیشده بر اساس کاری که انجام میدهند.
ستون مقدار، تنظیمات اجراهای آزمایشگاهی ما را در مواردی که مقداردهی شدهاند نشان میدهد. خط تیره به این معناست که در اجراهای ما این فلگ تنظیم نشده است.
مدل و داده
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--hf-checkpoint |
پوشهی Qwen3-0.6B |
مدلی که موتور و ترینر FSDP بارگذاری میکنند |
--prompt-data |
فایل آموزشی GSM8K |
پرامپتها |
--input-key، --label-key |
messages، label |
فیلدهای هر ردیف داده |
--apply-chat-template |
فعال (on) |
قرار دادن هر پرامپت در الگوی چت (chat template) مدل |
--rollout-shuffle |
فعال (on) |
بر زدن پرامپتها |
مسیر پیشروی شبیهسازیشده (Rollout)
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--num-rollout |
12، 24 یا 48، و 4 در اجراهای بررسی اندازهی مدل |
تعداد گامها |
--rollout-batch-size |
32 |
تعداد پرامپتها در هر گام |
--n-samples-per-prompt |
8 |
تعداد پاسخها به ازای هر پرامپت |
--rollout-max-response-len |
1024، و 256 در اجراهای بررسی اندازهی مدل |
سقف طول پاسخ بر حسب توکن |
--rollout-temperature |
1 |
دمای نمونهبرداری |
--rollout-top-p، --rollout-top-k |
0.95، 64 در یک اجرا |
نمونهگیر، و بازپخش نمونهبرداری در صورت تنظیم شدن |
--rollout-num-gpus-per-engine |
1 |
تعداد GPU به ازای هر موتور |
--rollout-seed |
سید (seed) اجرا |
سید نمونهبرداری |
--partial-rollout |
- |
ادامهی پاسخهای طولانی در گامی جلوتر |
--over-sampling-batch-size |
- |
دستهی پرامپتهای جدید وقتی تعداد گروههای کاملشده کافی نیست |
--dynamic-sampling-filter-path |
- |
فیلتر گروه |
پاداش و تابع زیان
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--rm-type |
math |
پاداش توکار |
--custom-rm-path |
- |
تابع پاداش اختصاصی شما |
--advantage-estimator |
grpo |
روش محاسبهی مزیت (advantage) |
--global-batch-size |
256 |
نمونهها به ازای هر گام بهینهساز |
--eps-clip، --eps-clip-high |
0.2، 0.28 |
محدودهی برش (clip range) در بهروزرسانی |
--kl-loss-coef، --kl-coef، --entropy-coef |
0 |
جملات مربوط به KL و آنتروپی |
--lr |
1e-6 |
نرخ یادگیری، ثابت |
--use-tis، --tis-clip |
- |
نمونهبرداری اهمیتی کوتاهشده (truncated importance sampling) |
--use-rollout-routing-replay |
- |
بازپخش مسیریابی برای مدلهای MoE |
جایابی و حافظه
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--colocate |
فعال (on) |
قرارگیری ترینر و موتور روی یک GPU مشترک، همراه با تخلیهی حافظه (offload) |
--train-backend |
fsdp |
بکاند آموزش |
--actor-num-nodes، --actor-num-gpus-per-node |
1، 1 |
پردازندههای گرافیکی ترینر |
--sglang-mem-fraction-static |
0.4، 0.25 در سه اجرا، 0.2 در یک اجرای مدل 4B |
سهم موتور از حافظهی GPU |
--offload-rollout-level |
مقدار پیشفرض، kv_cache در یک اجرا |
آن بخش از حافظه که موتور در فاصلهی بین فازها آزاد میکند |
--no-offload-rollout، --no-offload-train |
در دو اجرا و در یک اجرا |
بارگذاریشده نگهداشتن یکی از دو بخش |
--update-weight-buffer-size |
536870912 |
بافر بهروزرسانی وزنها بر حسب بایت |
--update-weight-transfer-mode |
- |
روش انتقال وزنها در معماری تفکیکشده (split layout) |
موتور
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--sglang-attention-backend |
پیشفرض، یا triton یا flashinfer |
کرنل اتنشن موتور |
--sglang-enable-deterministic-inference |
در سه اجرا |
کرنلهای قطعی در موتور |
--sglang-enable-metrics |
فعال (on) |
متریکهای عملکردی موتور |
--use-session-server |
- |
نشستهای دریافت-توکن و ارسال-توکن برای ایجنتها |
--use-miles-router |
- |
استفاده از مسیریاب پایتونی به جای گزینهی پیشفرض |
بررسیها و اشکالزدایی
| فلگ |
مقدار ما |
وظیفه و کاربرد |
--seed |
سیدِ اجرا |
سید ترینر |
--save-debug-event-data |
یک پوشه به ازای هر اجرا |
رویدادهای هر گام |
--save-debug-rollout-data، --load-debug-rollout-data |
- |
ذخیره و بازپخش نمونههای مسیر پیشروی شبیهسازیشده |
--debug-train-only، --debug-rollout-only |
- |
اجرای مجزای هر یک از بخشها بهتنهایی |
--check-weight-update-equal |
- |
مقایسهی وزنهای موتور و ترینر پس از نخستین بهروزرسانی |
--use-fault-tolerance، --ft-components |
- |
تابآوری در برابر خطا (fault tolerance) |
--save، --save-interval، --load |
- |
چکپوینتها |
منابع: capture/gpu/miles_grpo.py؛ capture/gpu/out-gb10/engine-settings.txt؛ آرگومانهای Miles در main 08752a12.