در یادگیری تقویتی، سرور استنتاج (inference server) بخشی از حلقهی آموزش میشود؛ بنابراین حافظه، وزنها و لگاریتم احتمالهای (log probabilities) آن، همگی به مسئلهی بخش آموزشدهنده تبدیل میشوند.
فرض کنید مدلی را با GRPO آموزش میدهید. در هر گام، یک سرور استنتاج هزاران پاسخ مینویسد، تابع پاداش به آنها امتیاز میدهد و آموزشدهنده وزنها را بهروزرسانی میکند. سپس سرور باید پرامپتهای (prompt) بعدی را با وزنهای جدید پاسخ دهد؛ آن هم روی همان GPUهایی که آموزشدهنده همین الان استفاده کرده است. موتور سرویسدهیای که صرفاً برای چت ساخته شده، هیچوقت قرار نبوده حافظهاش را پس بدهد یا حین اجرا وزنهایش را عوض کند. همچنین هیچوقت مجبور نبوده ارقام خروجیاش تا آخرین بیت با یک برنامهی دیگر همخوانی داشته باشد.
پس از پایان این بخش، میتوانید یک گام یادگیری تقویتی (Reinforcement Learning یا RL) را با SGLang بهعنوان موتور مسیر پیشروی شبیهسازیشده (rollout) شرح دهید و اندپوینتهای (endpoint) SGLang را که در هر فاز فراخوانی میشوند نام ببرید. همچنین میتوانید روش انتقال وزن مناسب را انتخاب کنید و بگویید حالت «کاملاً همسیاست» (true on-policy) چه مواردی را پوشش میدهد و چه مواردی را شامل نمیشود. مثال این بخش بر اساس Miles نسخهی 0.1.2 (commit با شناسهی a22fd824) است؛ فریمورک یادگیری تقویتی که RadixArk در کنار SGLang نگهداری میکند.
صورتحساب آموزش روی اعداد کهنه
Miles یک فورک (fork) از slime (فریمورک RL متعلق به THUDM) است و تاریخچهی slime را حفظ میکند. RadixArk آن را «یادگیری تقویتی در سطح سازمانی برای پسآموزش مدلهای بزرگ» توصیف میکند. مستندات هرگز «سازمانی» را تعریف نمیکنند. در کد، این اصطلاح سه معنا دارد: بررسیهای صحت بین مرحلهی پیشروی و آموزش، بازیابی از خطاهای موتور استنتاج، و مشاهدهپذیری (observability).
هر یک از این سه مورد به این دلیل وجود دارند که یادگیری تقویتی ماهیت سرور استنتاج را تغییر میدهد. خروجی سرور، همان دادهی آموزش است. لگاریتم احتمالهایی که گزارش میکند، نقش «سیاست قدیمی» را در نسبت PPO و GRPO بازی میکنند. بنابراین هرگونه اختلاف عددی بین کرنلهای (kernel) SGLang و کرنلهای آموزشدهنده، تبدیل به یک تورش در گرادیان (gradient) میشود. Miles در واقع صورتحساب آموزش روی اعدادی است که خود سرور تولید نکرده است.
حلقهای که سرور را قرض میگیرد
راهانداز آموزش عمداً کوتاه نوشته شده است. در نسخهی 0.1.2، فایل train.py فقط 175 خط دارد. اینها خطوط مربوط به یک گام هستند، وقتی آموزشدهنده و SGLang از GPUهای مشترک استفاده میکنند:
for rollout_id in range(args.start_rollout_id, args.num_rollout):
await inference_controller.prepare_rollout(rollout_id)
rollout_data_pack = await rollout_executor.get(rollout_id)
if args.offload_rollout:
...
offload_tags = [GPU_MEMORY_TYPE_CUDA_GRAPH]
if "kv_cache" in args.offload_rollout_level:
offload_tags.append(GPU_MEMORY_TYPE_KV_CACHE)
if "weight" in args.offload_rollout_level:
offload_tags.append(GPU_MEMORY_TYPE_WEIGHTS)
await inference_controller.offload(tags=offload_tags)
...
await actor_model.train(rollout_id, rollout_data_pack)
...
await offload_train()
if args.offload_rollout:
await inference_controller.onload_weights()
await update_weights(args, actor_model, rollout_executor, inference_controller, rollout_id=rollout_id)
if args.offload_rollout:
await inference_controller.onload_kv()
این فرایند را مانند یک اجاره (lease) در نظر بگیرید. ابتدا SGLang پاسخها را تولید کرده و به آنها امتیاز میدهد. سپس SGLang گرافهای CUDA، کش کلید-مقدار (KV cache) و وزنهای خود را آزاد میکند. آموزشدهنده بارگذاری میشود، آموزش را انجام میدهد و سپس از حافظه خارج میشود. SGLang وزنهای قبلی را بازمیگرداند، وزنهای جدید را تحویل میگیرد و در نهایت کش کلید-مقدار و گرافهای CUDA خود را پس میگیرد. شکل 7.2b نشان میدهد که در هر فاز، چه بخشی از حافظه روی GPU قرار دارد.
امکانات نسخهی پایهی SGLang برای آموزشدهنده
این اجاره از طریق اندپوینتهای HTTP انجام میشود که در نسخهی رسمی v0.5.22 از SGLang وجود دارند {{code}}. راهنمای RL در SGLang قاعدهی طراحی را بهوضوح بیان کرده است: SGLang مانند کتابخانهای عمل میکند که آموزشدهنده آن را فرا میخواند، نه فریمورکی که مالک کل حلقه باشد {{docs}}. فریمورک Miles هر موتور استنتاج را بهصورت یک فرایند (process) معمولی sglang serve روی بستر HTTP هدایت میکند.
آزادسازی حافظه: اندپوینت POST /release_memory_occupation حافظهی GPU را بر اساس برچسب آزاد میکند و POST /resume_memory_occupation آن را برمیگرداند. سرور به فلگ --enable-memory-saver نیاز دارد که بهطور پیشفرض غیرفعال است. برچسبها عبارتاند از kv_cache، weights و cuda_graph. در مستندات فقط دو مورد اول ذکر شده، اما کد هر سه را میپذیرد؛ پس کد ملاک است. سیستم ذخیرهساز حافظه، حافظهی فیزیکی را آزاد میکند اما آدرسهای مجازی را نگه میدارد؛ در نتیجه گرافهای CUDA ثبتشده بدون نیاز به ثبت مجدد معتبر میمانند. این فراخوانی الزام میکند که سرور بیکار باشد، بنابراین ابتدا تولید متن را متوقف کنید.
توقف و ادامهی تولید: اندپوینت POST /pause_generation یک حالت ورودی میگیرد. حالت پیشفرض در SGLang مقدار abort است که تمام درخواستهای در حال اجرا را پایان میدهد. Miles بهطور پیشفرض از حالت retract استفاده میکند که درخواستهای در حال اجرا را به صف انتظار بازمیگرداند تا پس از بهروزرسانی وزنها، دوباره پیشپرکنی (prefill) شوند. حالت سوم، یعنی in_place، کش کلید-مقدار آنها را که با وزنهای قبلی تولید شده حفظ میکند.
نشست بهروزرسانی وزن: ابتدا begin_weight_update، سپس یک یا چند فراخوانی update_weights_from_* و در آخر end_weight_update. این نشست (session) به این دلیل وجود دارد که لایههای کوانتیزهشده پس از بارگذاری به یک بار بستهبندی مجدد نیاز دارند. انجام یکبارهی این کار در هر بارگذاری مجدد، بسیار کمهزینهتر از انجام آن به ازای هر باکت (bucket) است. پس از پایان نشست، دستور update_weight_version نسخهی جدید را برچسب میزند. درخواستی که در جریان این بهروزرسانی زنده بماند، اسپنهای (span) weight_versions را در meta_info خود گزارش میدهد؛ بنابراین میتوانید ببینید کدام توکنها (token) حاصل کدام وزنها بودهاند. شکل 7.2 یک بهروزرسانی را با روش انتقال پیشفرض نشان میدهد.
چهار روش برای انتقال وزنها
Miles روش انتقال را با فلگ --update-weight-transfer-mode انتخاب میکند {{code}}:
| حالت | نحوهی جابهجایی بایتها | کاربرد مناسب |
|---|---|---|
broadcast (پیشفرض) |
یک گروه NCCL به ازای هر مرحله از پایپلاین (pipeline)؛ رتبهی (rank) 0 آموزشدهنده هر باکت را به همهی GPUهای موتور همهپخشی (broadcast) میکند | GPUهای جداگانه برای آموزشدهنده و موتور |
broadcast_packed |
همان گروه، یک تنسور (tensor) بایتی یکپارچه به ازای هر باکت | Megatron، بدون اشتراک مکانی (non-colocated) |
p2p |
پروتکل Mooncake RDMA روی آدرسهای GPU که هر رتبهی موتور اعلام کرده مینویسد | مدلهای MoE چندنودی |
disk-delta |
بایتهای تغییریافتهی چکپوینت (checkpoint) به حافظهی مشترک ارسال شده و هر موتور نسخهی محلی خود را پچ (patch) میکند | نبود مسیر ارتباطی RDMA یا NCCL |
اگر از فلگ --colocate استفاده کنید، Miles این فلگ را نادیده میگیرد و همیشه هندلهای CUDA IPC را از طریق /update_weights_from_tensor ارسال میکند. تیمی که در یک اجرای مشترک حالت p2p را تنظیم کند، بدون آنکه متوجه شود معیار اشتباهی را اندازهگیری میکند.
تیم Miles زمانبندیهای P2P را روی کلاسترهای H100 با باکتهای 1 گیگابایتی گزارش داده است {{team 2026-10}}. برای مدل Qwen3-235B-A22B روی 8 نود، زمان از 10,754 میلیثانیه با همهپخشی NCCL به 3,162 میلیثانیه رسید؛ یعنی 71 درصد کاهش. برای Kimi-K2 روی 32 نود، زمان از 53,279 میلیثانیه به 7,227 میلیثانیه کاهش یافت؛ یعنی 86 درصد کمتر. اما روی یک نود، P2P کندتر بود: برای GLM-4.7-9B-Flash زمان 68.6 درصد بیشتر شد و در تست 4 لایهی GLM-5 زمان 72.2 درصد افزایش یافت. دلیل آن در نوع طراحی نهفته است: همهپخشی کل مدل را به تمام رتبههای موتور میفرستد، در حالی که با موازیسازی متخصصان (expert parallelism)، هر رتبه فقط به کسری از آن نیاز دارد.
طبق گزارش RadixArk حدود 2 درصد از پارامترهای BF16 در یک گام تغییر میکنند {{team 2026-08}}. برای GLM-4.7-Flash، حجم دادهی disk-delta از 62.4 گیگابایت به 0.69 تا 0.83 گیگابایت به ازای هر بهروزرسانی کاهش یافت، با توقف تولیدِ 3 تا 5 ثانیهای. اینها ارقام آنها از پست وبلاگی Miles v0.1 در تاریخ 2026-08-18 است. ما این موارد را بازتولید نکردهایم.
دیدگاه ما: ابتدا روی یک نود و بهصورت مشترک با مسیر CUDA IPC شروع کنید. تنها زمانی به سراغ GPUهای مجزا بروید که زمان پیشروی، بخش عمدهی گام آموزش را پر کند. گزینهی p2p را فقط برای مدلهای MoE چندنودی انتخاب کنید که جدول ارائهشده از سوی سازنده بهبود آن را نشان میدهد؛ در سایر موارد از broadcast استفاده کنید.
مفهوم «کاملاً همسیاست» و محدودیتهای آن
در اینجا موتور سرویسدهی و آموزشدهنده باید بر سر یک عدد به توافق برسند. اگر به SGLang و Megatron یا FSDP دقیقاً وزنها و توکنهای یکسانی بدهید، کرنلهای آنها باز هم ممکن است لگاریتم احتمالهای متفاوتی برگردانند؛ زیرا عملیات کاهش (reduction) آنها با ترتیب متفاوتی اجرا میشود. در نتیجه، در نسبت PPO دو مفهوم با هم اشتباه میشوند: «سیاست تغییر کرده» و «کرنلها تفاوت دارند». Miles این اختلاف را با نام train/train_rollout_logprob_abs_diff گزارش میکند که در حالت کاملاً همسیاست (true on-policy) باید دقیقاً 0 باشد.
پیش از هر چیز، دو واقعیت دربارهی SGLang اهمیت دارد. اول اینکه SGLang لگاریتم احتمالها را بعد از اعمال مقیاسبندی دما (temperature scaling) برمیگرداند، مگر اینکه درخواست بهصورت حریصانه (greedy) باشد یا SGLANG_RETURN_ORIGINAL_LOGPROB تنظیم شده باشد؛ همانطور که در بخش 4.6 توضیح داده شد. گاهی فرایند پیشروی با دمایی غیر از 1 نمونهگیری میکند، در حالی که آموزشدهنده لگاریتم احتمالها را در دمای 1 محاسبه میکند. در این حالت آموزشدهنده اختلافی را میبیند که ربطی به کرنلها ندارد.
دوم اینکه فلگ --rl-on-policy-target در نسخهی v0.5.22 فقط یک مقدار را میپذیرد: fsdp، و این مقدار استنتاج قطعی (deterministic) را تحمیل میکند {{code}}. این حالت کرنلهای ضرب ماتریسی، سافتمکس (softmax) و نرمالسازی را با نسخههای پایا در دسته (batch-invariant) جایگزین کرده و نمونهگیر (sampler) PyTorch را اجباری میکند. همچنین کش رادیکس (radix cache) را غیرفعال میکند، مگر اینکه بکاند اتنشن (attention) یکی از موارد fa3، fa4، triton یا ascend باشد.
فریمورک Miles با یک نقشهی اجرا که فلگهای متناظر را در هر دو سمت تنظیم میکند، روی این سازوکار سوار میشود. دامنهی پوشش محدود است. در نسخهی v0.1.2، تنها پروفایل مدل موجود، مدل متراکم Qwen3 است: Qwen3-0.6B، Qwen3-4B، Qwen3-4B-Base و Qwen3-4B-Instruct-2507. سه ایشوی باز در مخزن (repository) Miles نشان میدهند که تطابق بیتی هنوز در چه بخشهایی دچار شکست میشود:
- ایشوی #1485: خروجیهای
down_projمدل Qwen3-4B در موازیسازی تنسورِ 2 با هم تفاوت دارند. SGLang تعداد 38 نتیجهی جزئی را در دو گروه 19تایی جمع میزند، اما Miles آنها را در یک درخت دوتایی جمع میکند. جمع در فرمت BF16 خاصیت شرکتپذیری ندارد {{issue radixark/miles#1485}}. - ایشوی #3714: سرویسدهی قطعی، سقف کانالهای NCCL را روی 8 قفل میکند، در حالی که آموزشدهنده از 24 استفاده میکند. سپس انتقال وزن با خطای
Message truncated : received 6144 bytes instead of 2048با شکست مواجه میشود {{issue radixark/miles#3714}}. - ایشوی #3277: پس از یک بازگردانی، پیشپرکنی مجدد تحت وزنهای جدید، مسیرهای ثبتشدهی MoE را رونویسی میکند. در نتیجه، پاسخ حامل مسیرهای جدید اما با لگاریتم احتمالهای قدیمی خواهد بود {{issue radixark/miles#3277}}.
دیدگاه ما: حالت کاملاً همسیاست را صرفاً ابزاری برای عیبیابی مدلهای متراکم Qwen3 بدانید، نه کلیدی برای فعالسازی در تمام اجراها. با این حال، اختلاف لگاریتم احتمال را همیشه در تمام اجراها ثبت کنید. اختلاف زیاد نشاندهندهی مشکل در تبدیل یا خطای کرنل است و هیچ الگوریتم RL نمیتواند آن را حل کند.
نتایج ارزیابی با Miles روی یک پردازندهی GB10
ما الگوریتم GRPO را با ایمیج radixark/miles:latest روی یک کارت NVIDIA GB10 اجرا کردیم. این ایمیج شامل Miles کامیت 08752a12 و SGLang نسخهی 0.5.22.dev46+g7b6993a بود. مدل انتخابی Qwen/Qwen3-0.6B روی GSM8K بود که FSDP و SGLang بهصورت مشترک روی یک GPU قرار داشتند. هر یک از 12 گام، 32 پرامپت را 8 بار تا سقف 1,024 توکن پاسخ با دمای 1 نمونهگیری میکردند. سهم حافظهی SGLang برابر با 0.4 بود.
metrics.py:94 - perf 0: {'rollout/raw_reward_unfiltered': 0.62890625, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.62890625, 'rollout/episode_response_length/mean': 739.92578125, 'rollout/episode_response_length/median': 759.5, 'rollout
{'train/loss': -4.656612873077393e-10, 'train/pg_loss': -4.656612873077393e-10, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.015336457639932632, 'train/train_rollout_kl': 0.0006840902497060597, 'train/grad_norm': 0.5216571092605591, 'train/lr-pg_0': 1e-06, 'train/step': 0}
timer.py:42 - Timer update_weights end (elapsed: 0.7s)
[2026-10-17 15:55:01] post-warmup freeze_gc failedمعیارهای مسیر پیشروی شبیهسازیشده و آموزش برای گام نخست، یک بهروزرسانی وزن و یک هشدار. خطوط طولانی کوتاه شدهاند.
زمان هر گام را بر اساس فاز اندازه گرفتیم. مرحلهی پیشروی در SGLang میانهای برابر با 57.2 ثانیه، با سرعت تقریبی 3,113 توکن بر ثانیه ثبت کرد. سپس آموزشدهنده لگاریتم احتمالها را در 25.2 ثانیه مجدداً محاسبه کرد و فرایند آموزش 80.3 ثانیه طول کشید. بهروزرسانی وزنها در SGLang از طریق CUDA IPC حدود 0.65 ثانیه زمان برد. آزادسازی حافظهی SGLang میانهی 0.8 ثانیه و حداکثر 4.0 ثانیه داشت و بازپسگیری آن 0.9 ثانیه طول کشید.
مرحلهی پیشروی در این ابعاد گلوگاه نبود. برای یک مدل 0.6B روی یک GPU، داشتن یک موتور سرویسدهی سریعتر حداکثر میتوانست حدود یکسوم گام (35 درصد) صرفهجویی کند. بهروزرسانی وزن و آزادسازی حافظه—که بخش زیادی از این بحث به آن اختصاص دارد—در مجموع 2.4 ثانیه هزینه داشت. کل گام بر اساس جمع میانهی فازها حدود 165 ثانیه زمان برد.
اختلاف لگاریتم احتمال در تمام 12 گام بین 0.0143 و 0.0163 باقی ماند. این همان عددی است که حالت کاملاً همسیاست برای صفر کردنش ساخته شده، و حالت عادی تغییری در آن ایجاد نمیکند. پاداش خام بین 0.586 و 0.758 بالا و پایین شد. دوازده گام برای نمایش یادگیری کافی نیست؛ بنابراین به این اجرا بهعنوان زمانبندی و سنجش اختلاف نگاه کنید، نه یک منحنی آموزش.
چهل و هشت گام
سپس همان کار را برای 48 گام با همان تنظیمات اجرا کردیم: سهم حافظه 0.4 و دما 1، ابتدا با مقدار اولیهی تصادفی (seed) پیشفرض. در طول این گامها، مدل شروع به یادگیری کرد و همراه با آن، مرحلهی پیشروی هم سریعتر شد.
metrics.py:94 - perf 47: {'rollout/raw_reward_unfiltered': 0.79296875, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.79296875, 'rollout/episode_response_length/mean': 421.73046875, 'rollout/episode_response_length/median': 369.5, 'rollou
{'train/loss': -3.4924596548080444e-09, 'train/pg_loss': -3.4924596548080444e-09, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.014126655645668507, 'train/train_rollo
Subprocess scheduler_0 (pid=3263) crashed with exit code -15. Triggering SIGQUIT for cleanup...
Job 'raysubmit_MKE9XLVeZ87U7iQV' succeededمعیارهای مسیر پیشروی شبیهسازیشده و آموزش گام 47، خروج اسکژولر، و وضعیت کار. خطوط طولانی کوتاه شدهاند.
میانگین پاداش خام در 8 گام اول 0.636 و در 8 گام آخر 0.758 ثبت شد. پاسخها کوتاهتر شدند؛ میانگین طول آنها از 724 به 447 توکن کاهش یافت و سهم نمونههای قطعشده در سقف 1,024 توکن از 0.33 به 0.08 افت کرد. SGLang توکنهای کمتری برای تولید داشت، بنابراین زمان پیشروی از 60.2 ثانیه به 32.7 ثانیه در هر گام کاهش یافت. نرخ تولید آن نیز از 3,084 به 3,501 توکن بر ثانیه افزایش پیدا کرد.
از یک گام به گام بعد، پاداش تا 0.207 تغییر کرد (از 0.801 در گام 30 به 0.594 در گام 31). روند کلی را بر اساس میانگین 8 گام بخوانید، نه بر اساس نوسان یک گام منفرد.
اختلاف لگاریتم احتمال تغییری نکرد. این مقدار در 8 گام اول 0.0153 و در 8 گام آخر 0.0146 بود و در تمام 48 گام بین 0.0138 و 0.0162 ماند. در 48 گام از اجرای این مدل 0.6B، آموزش نتوانست این شکاف را ببندد. Miles این اختلاف را ناشی از تفاوت بین کرنلهای SGLang و FSDP میداند. حالت کاملاً همسیاست بخشی از Miles است که روی رفع این مشکل کار میکند.
خطوط انتهایی لاگ نیز جای توجه دارند. اسکژولر (scheduler) SGLang عبارت crashed with exit code -15 را چاپ کرد و سپس جاب Ray وضعیت موفقیت را گزارش داد. کد خروجی 15- یعنی اسکژولر سیگنال SIGTERM را دریافت کرده که در اینجا به دلیل پایان کار رخ داده است. هشدارهای سیستم خود را بر اساس وضعیت جاب تنظیم کنید، نه صرفاً بر اساس این یک خط.
دو خط لاگ دیگر هم هستند که باید پیش از اعتماد به اجرا از آنها باخبر باشید: حدود 30 درصد نمونهها در اجرای 12 گامه و 20 درصد در اجرای 48 گامه به سقف 1,024 توکن رسیدند؛ بنابراین پاداش محاسبهشده شامل پاسخهایی است که پیش از رسیدن به انتها قطع شدهاند. همچنین SGLang در زمان راهاندازی، یک بار پیام post-warmup freeze_gc failed را چاپ کرد. فرایند آموزش بعد از آن به شکل عادی پیش رفت، بنابراین این هشدار در این آزمایش هزینهای نداشت.
دو مقدار اولیهی تصادفی دیگر
ما همان 48 گام را دو بار دیگر با MILES_SEED=2 و MILES_SEED=3 اجرا کردیم. این متغیر هم سید آموزش و هم سید پیشروی را تنظیم میکند. سیستم GB10 در تاریخ 2026-10-18 زیر این فشار کاری سه بار خاموش شد و لیست بوت سیستم سه راهاندازی مجدد کوتاه را در آن روز ثبت کرده است. به همین دلیل این اجراها مجهز به یک سیستم محافظ شدند: اسکریپتی که در صورت رسیدن دمای GPU به 84 درجهی سانتیگراد (یا 80 درجه در 30 دقیقهی اول) کانتینر را موقتاً متوقف میکرد. این اسکریپت پس از حدود 45 تا 60 ثانیه و با رسیدن دما به 72 درجه یا کمتر، اجرای کانتینر را ادامه میداد.
در طول 9.3 ساعت اجرای سیدهای 2 و 3، کانتینر حدود 58 درصد از زمان در وضعیت تعلیق قرار داشت. توقف موقت فرایند، اجرای آن را متوقف میکند اما در محاسبات ریاضی آن تغییری نمیدهد؛ بنابراین معیارهای پاداش، طول پاسخها، سهم قطعشدن و اختلاف لگاریتم احتمال را معتبر میدانیم. البته ما این موضوع را با مقایسهی دو اجرای متوقفشده و بدون توقف روی یک سید یکسان بررسی نکردهایم. زمانهای پیشروی معتبر نیستند و ما آنها را برای سیدهای 2 و 3 گزارش نمیکنیم.
metrics.py:94 - perf 47: {'rollout/raw_reward_unfiltered': 0.6484375, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.6484375, 'rollout/episode_response_length/mean': 514.0390625, 'rollout/episode_response_length/median
{'train/loss': -5.122274160385132e-09, 'train/pg_loss': -5.122274160385132e-09, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.014963770285248756,
Job 'raysubmit_y4umCbEa8Qp5Bbad' succeededمعیارهای مسیر پیشروی شبیهسازیشده و آموزش برای گام 47 با MILES_SEED=2 و وضعیت کار. خطوط طولانی کوتاه شدهاند.
| میانگین، 8 گام اول / 8 گام آخر | سید پیشفرض | سید 2 | سید 3 |
|---|---|---|---|
| پاداش خام | 0.636 / 0.758 | 0.653 / 0.736 | 0.614 / 0.766 |
| طول پاسخ، توکن | 724 / 447 | 712 / 480 | 734 / 456 |
| سهم قطعشده در 1,024 توکن | 0.33 / 0.08 | 0.30 / 0.12 | 0.34 / 0.09 |
| اختلاف لگاریتم احتمال | 0.0153 / 0.0146 | 0.0153 / 0.0150 | 0.0156 / 0.0146 |
نتایج اندازهگیری ما در هر سه سید یکسان بود. پاداش افزایش یافت، پاسخها کوتاهتر شدند و نمونههای کمتری قطع شدند. اختلاف لگاریتم احتمال در تمامی 144 گام بین 0.0136 و 0.0164 باقی ماند. بیشترین جهش پاداش از یک گام به گام بعد برای این سه سید به ترتیب 0.207، 0.160 و 0.203 بود.
حالت کاملاً همسیاست روی GB10 اجرا نشد
سپس فلگ --true-on-policy-mode را همراه با فلگهای مثال Miles Triton تنظیم کردیم. SGLang شروع به کار کرد، اما آموزشدهنده 61 ثانیه پس از آغاز اسکریپت راهانداز متوقف شد.
[2026-10-17 16:28:41.340 launcher] common.py:290 - EXEC: mkdir -p /root/lab/mode
ValueError: Specified `attn_implementation="triton"` is not supported. The only possible arguments are `attn_implementation="eager"`, `"paged|eager"`, `"attn_implementation=flash_attention_2"`, `"attn_implementation=paged|flash_attention_2"`, `"attn_implementa
[2026-10-17 16:29:42.606 trainer_controller_actor] cell.py:251 - ft op=execute phase=fail cell=trainer-engine-actor-00000 fn=init elapsed_s=0.7اولین سطر راهانداز، خطای ترینر و مقداردهی اولیهی ناموفق. خطوط طولانی کوتاه شدهاند.
مقدار این فلگ از مثال اشتباهی برداشته شده بود. در اکتور FSDP، رابط (bridge) اتنشن SGLang Triton تنها زمانی فعال میشود که torch.version.hip تنظیم شده باشد؛ یعنی فقط روی GPUهای شرکت AMD {{code}}. روی GPUهای NVIDIA، این مقدار مستقیماً به کتابخانهی transformers ارسال میشود که هیچ پیادهسازی اتنشنی به نام triton ندارد.
تنها قرارداد معتبر برای حالت کاملاً همسیاست در Miles، ترکیب بکاند fa3 در SGLang با flash_attention_3 در FSDP است {{code}}. ما مجدداً کار را با فلگهای این قرارداد اجرا کردیم تا ببینیم در چه نقطهای متوقف میشود.
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.
[2026-10-17 21:03:24] Received sigquit from a child process. It usually means the child failed.
[2026-10-17 21:03:30.637 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
[2026-10-17 22:06:46.137 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'شروع SGLang، شکست آن، و نخستین و آخرین خطای پیشآمده در ادامهی مسیر پیشروی شبیهسازیشده. پیشوندهای پردازش حذف شدهاند.
سرویس SGLang تنها 21 ثانیه پس از شروع به کار متوقف شد. بکاند FA3 آن فقط از GPUهای با معماری SM 8.0 تا SM 9.0 پشتیبانی میکند، در حالی که GB10 دارای معماری SM 12.1 است. در ایمیج Miles که ما استفاده کردیم (commit با شناسهی 08752a12)، تنها قرارداد موجود برای حالت کاملاً همسیاست به FA3 وابسته است؛ بنابراین امکان اجرای آن روی GB10 وجود ندارد.
نکتهی مهمی که باید به خاطر سپرد، اتفاقی است که پس از آن رخ داد: با اینکه موتور پیشروی از کار افتاده بود، جاب Miles متوقف نشد. حلقهی پیشروی آن به ارسال درخواستها به مسیریاب (router) ادامه داد و مسیریاب هم با خطای 503 Service Unavailable پاسخ میداد. لاگ برنامه حدود 200,000 پیام خطا از این دست را در طول 63 دقیقه ثبت کرد، تا اینکه خودمان کانتینر را متوقف کردیم. جاب هرگز وضعیت شکست را گزارش نداد. در طول آن یک ساعت، وضعیت GPU را ثبت نکردیم.
دیدگاه ما دربارهی نتیجهی GB10: پیش از برنامهریزی برای اجرای حالت کاملاً همسیاست، بررسی کنید که آیا GPU و ایمیج شما هر دو کرنلِ مشخصشده در قرارداد را دارند یا خیر. سپس لاگ سرور SGLang را هم بررسی کنید، نه فقط آموزشدهنده را؛ زیرا موتور پیشروی که از کار افتاده ممکن است شبیه به موتوری به نظر برسد که صرفاً با سرعت پایینی کار میکند. در ایمیجی که اجرا کردیم (Miles با commit شناسهی 08752a12)، این قرارداد مستلزم FlashAttention 3 در هر دو سمت است؛ مسیری که مشخصاً برای GPUهای نسل Hopper نوشته شده است.
اجرای Miles روی نسخهی اختصاصی خودش از SGLang
Miles از انتشار رسمی SGLang که در ادامهی این کتابچه شرح داده شده استفاده نمیکند. ایمیج داکر آن بر پایهی lmsysorg/sglang:v0.5.21 ساخته شده و branch به نام sglang-miles را دریافت میکند. فایل قفل نسخهی v0.1.2 مستقیماً commit با شناسهی b84bec5761a6 از SGLang را ثابت میکند. مستندات Miles این موضوع را کاملاً صریح بیان میکنند: استفاده از sglang رسمی یا نسخهی اصلی Megatron-LM در کنار Miles جواب نمیدهد {{docs}}.
حداقل چهار موردی که Miles فراخوانی میکند در نسخهی v0.5.22 رسمی وجود ندارند: اندپوینت /pull_weights برای روش disk-delta، متد register_lora_adapter، متد get_parallelism_info و فلگ --true-on-policy-contract.
این branch اختصاصی خلاصهی خوبی از کل این بخش است. یادگیری تقویتی چیزهایی از یک موتور سرویسدهی میخواهد که کاربرانِ سرویسدهی معمولی هرگز نخواستهاند: باید بتواند حافظه را پس بدهد و وزنها را در قالب یک نشست تغییر دهد. باید گزارش دهد کدام وزنها هر توکن را تولید کردهاند و خروجیهایش را بیتبهبیت با برنامهی دیگری تطبیق دهد. برخی از این قابلیتها اکنون در نسخهی اصلی SGLang هستند، و باقی موارد تا زمان آمادهسازی روی یک branch نگهداری میشوند.
یک رخداد واقعی: ایشوی #860 در مخزن Miles گزارش میدهد که متد /release_memory_occupation برای مدلهای دارای اتنشن پنجرهی لغزان (Sliding-Window Attention) «در سکوت هیچ کاری انجام نمیدهد» {{issue radixark/miles#860}}. استخر KV پنجرهی لغزان، ذخیرهساز حافظه را در سازندهی خود غیرفعال میکند؛ به همین دلیل در یک اجرای مشترک، به محض شروع Megatron حافظه پر میشود. یک کاربر گزارش داده که 30.19 گیگابایت از استخر KV در مدل DeepSeek-V4-Flash دستنخورده باقی مانده بود. این ایشو در تاریخ 2026-10-16 همچنان باز بود. پیش از اعتماد به اجرای مشترک روی هر مدل جدید، حتماً بررسی کنید که همهی برچسبهای حافظه واقعاً حافظه را آزاد میکنند.
منابع: مستندات Miles در نسخهی v0.1.2 (با شناسهی a22fd824): فایلهای train.py، release-lock.json، docker/Dockerfile، docs/developer/versions.md، miles/ray/rollout/inference_controller.py، miles/backends/training_utils/weight_update/protocol.py، session.py، protocols/broadcast.py، protocols/cuda_ipc.py، protocols/p2p.py، protocols/delta.py، miles/true_on_policy/model_profiles.py، docs/advanced/p2p-weight-transfer.md؛ نسخهی v0.5.22 از SGLang: فایلهای python/sglang/srt/entrypoints/http_server.py، python/sglang/srt/managers/io_struct.py (کلاس PauseGenerationReqInput)، python/sglang/srt/managers/scheduler_components/weight_updater.py، python/sglang/srt/constants.py، python/sglang/srt/arg_groups/fields/exec_.py، python/sglang/srt/arg_groups/choices.py، python/sglang/srt/arg_groups/attention_hook.py، python/sglang/srt/layers/logprob_processor.py، docs/docs/advanced_features/sglang_for_rl.mdx؛ ایشوهای شماره #860، #1485، #3277، #3714 در Miles؛ پستهای منتشرشدهی RadixArk و LMSYS در lmsys.org/blog/2025-11-19-miles و lmsys.org/blog/2026-08-18-miles-v0-1. فریمورک Miles در commit با شناسهی 08752a12: فایلهای miles/backends/fsdp_utils/actor.py، miles/true_on_policy/schema.py، examples/infra_features/true_on_policy/run_simple.py و run_simple_amd_triton.py. دادههای ارزیابی: capture/gpu/miles_grpo.py، capture/gpu/miles_summary.py، capture/gpu/out-miles/plain-excerpt.log، capture/gpu/out-miles/plain-48-excerpt.log، capture/gpu/out-miles/plain-48-s2-excerpt.log، capture/gpu/out-miles/plain-48-s3-excerpt.log، capture/gpu/out-miles/plain-48-thermostat.log، capture/gpu/out-miles/true-on-policy-error.log، capture/gpu/summary/miles-gb10.json، capture/gpu/out-miles/true-on-policy-fa3-error.log، capture/gpu/incidents/gb10-boot-list.txt.