بخش 7.2 · محیط عملیاتی و آموزش

استفاده از SGLang به‌عنوان موتور پیش‌روی در یادگیری تقویتی

SGLang as an RL rollout engine

فهرست مطالب
  1. صورت‌حساب آموزش روی اعداد کهنه
  2. حلقه‌ای که سرور را قرض می‌گیرد
  3. امکانات نسخه‌ی پایه‌ی SGLang برای آموزش‌دهنده
  4. چهار روش برای انتقال وزن‌ها
  5. مفهوم «کاملاً هم‌سیاست» و محدودیت‌های آن
  6. نتایج ارزیابی با Miles روی یک پردازنده‌ی GB10
  7. چهل و هشت گام
  8. دو مقدار اولیه‌ی تصادفی دیگر
  9. حالت کاملاً هم‌سیاست روی GB10 اجرا نشد
  10. اجرای Miles روی نسخه‌ی اختصاصی خودش از SGLang

در یادگیری تقویتی، سرور استنتاج (inference server) بخشی از حلقه‌ی آموزش می‌شود؛ بنابراین حافظه، وزن‌ها و لگاریتم احتمال‌های (log probabilities) آن، همگی به مسئله‌ی بخش آموزش‌دهنده تبدیل می‌شوند.

فرض کنید مدلی را با GRPO آموزش می‌دهید. در هر گام، یک سرور استنتاج هزاران پاسخ می‌نویسد، تابع پاداش به آن‌ها امتیاز می‌دهد و آموزش‌دهنده وزن‌ها را به‌روزرسانی می‌کند. سپس سرور باید پرامپت‌های (prompt) بعدی را با وزن‌های جدید پاسخ دهد؛ آن هم روی همان GPUهایی که آموزش‌دهنده همین الان استفاده کرده است. موتور سرویس‌دهی‌ای که صرفاً برای چت ساخته شده، هیچ‌وقت قرار نبوده حافظه‌اش را پس بدهد یا حین اجرا وزن‌هایش را عوض کند. همچنین هیچ‌وقت مجبور نبوده ارقام خروجی‌اش تا آخرین بیت با یک برنامه‌ی دیگر همخوانی داشته باشد.

پس از پایان این بخش، می‌توانید یک گام یادگیری تقویتی (Reinforcement Learning یا RL) را با SGLang به‌عنوان موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout) شرح دهید و اندپوینت‌های (endpoint) SGLang را که در هر فاز فراخوانی می‌شوند نام ببرید. همچنین می‌توانید روش انتقال وزن مناسب را انتخاب کنید و بگویید حالت «کاملاً هم‌سیاست» (true on-policy) چه مواردی را پوشش می‌دهد و چه مواردی را شامل نمی‌شود. مثال این بخش بر اساس Miles نسخه‌ی 0.1.2 (commit با شناسه‌ی a22fd824) است؛ فریم‌ورک یادگیری تقویتی که RadixArk در کنار SGLang نگهداری می‌کند.

صورت‌حساب آموزش روی اعداد کهنه

Miles یک فورک (fork) از slime (فریم‌ورک RL متعلق به THUDM) است و تاریخچه‌ی slime را حفظ می‌کند. RadixArk آن را «یادگیری تقویتی در سطح سازمانی برای پس‌آموزش مدل‌های بزرگ» توصیف می‌کند. مستندات هرگز «سازمانی» را تعریف نمی‌کنند. در کد، این اصطلاح سه معنا دارد: بررسی‌های صحت بین مرحله‌ی پیش‌روی و آموزش، بازیابی از خطاهای موتور استنتاج، و مشاهده‌پذیری (observability).

هر یک از این سه مورد به این دلیل وجود دارند که یادگیری تقویتی ماهیت سرور استنتاج را تغییر می‌دهد. خروجی سرور، همان داده‌ی آموزش است. لگاریتم احتمال‌هایی که گزارش می‌کند، نقش «سیاست قدیمی» را در نسبت PPO و GRPO بازی می‌کنند. بنابراین هرگونه اختلاف عددی بین کرنل‌های (kernel) SGLang و کرنل‌های آموزش‌دهنده، تبدیل به یک تورش در گرادیان (gradient) می‌شود. Miles در واقع صورت‌حساب آموزش روی اعدادی است که خود سرور تولید نکرده است.

حلقه‌ای که سرور را قرض می‌گیرد

راه‌انداز آموزش عمداً کوتاه نوشته شده است. در نسخه‌ی 0.1.2، فایل train.py فقط 175 خط دارد. این‌ها خطوط مربوط به یک گام هستند، وقتی آموزش‌دهنده و SGLang از GPUهای مشترک استفاده می‌کنند:

for rollout_id in range(args.start_rollout_id, args.num_rollout):
    await inference_controller.prepare_rollout(rollout_id)
    rollout_data_pack = await rollout_executor.get(rollout_id)

    if args.offload_rollout:
        ...
            offload_tags = [GPU_MEMORY_TYPE_CUDA_GRAPH]
            if "kv_cache" in args.offload_rollout_level:
                offload_tags.append(GPU_MEMORY_TYPE_KV_CACHE)
            if "weight" in args.offload_rollout_level:
                offload_tags.append(GPU_MEMORY_TYPE_WEIGHTS)
            await inference_controller.offload(tags=offload_tags)
    ...
        await actor_model.train(rollout_id, rollout_data_pack)
    ...
            await offload_train()
            if args.offload_rollout:
                await inference_controller.onload_weights()
        await update_weights(args, actor_model, rollout_executor, inference_controller, rollout_id=rollout_id)
        if args.offload_rollout:
            await inference_controller.onload_kv()

این فرایند را مانند یک اجاره (lease) در نظر بگیرید. ابتدا SGLang پاسخ‌ها را تولید کرده و به آن‌ها امتیاز می‌دهد. سپس SGLang گراف‌های CUDA، کش کلید-مقدار (KV cache) و وزن‌های خود را آزاد می‌کند. آموزش‌دهنده بارگذاری می‌شود، آموزش را انجام می‌دهد و سپس از حافظه خارج می‌شود. SGLang وزن‌های قبلی را بازمی‌گرداند، وزن‌های جدید را تحویل می‌گیرد و در نهایت کش کلید-مقدار و گراف‌های CUDA خود را پس می‌گیرد. شکل 7.2b نشان می‌دهد که در هر فاز، چه بخشی از حافظه روی GPU قرار دارد.

حافظه‌ی GPU در طول یک گام RL مشترک (هم‌مکان)SGLang و ترینر در این حالت هرگز هم‌زمان GPU را در اختیار ندارند و SGLang کش کلید-مقدار خود را فقط پس از رسیدن وزن‌های جدید بازپس می‌گیرد.
حافظه‌ی GPU در طول یک گام RL هم‌مکان شش فاز از یک گام Miles روی GPUهای اشتراکی. SGLang هنگام تولید وزن‌ها، کش کلید-مقدار و گراف‌های CUDA را نگه می‌دارد، هر سه را آزاد می‌کند، ترینر به تنهایی اجرا می‌شود، سپس SGLang وزن‌هایش را برمی‌گرداند، وزن‌های جدید را می‌گیرد و در نهایت کش کلید-مقدار و گراف‌های CUDA را پس می‌گیرد. تولید آزادسازی آموزش بارگذاری به‌روزرسانی بارگذاری KV وزن‌های SGLang کش KV در SGLang گراف‌های CUDA ترینر POST /release_memory_occupation POST /update_weights_from_tensor خانه‌ی پر: مقیم در GPU · خانه‌ی خالی: آزاد یا تخلیه‌شده
از چپ به راست بخوانید، هر ستون مربوط به یک فاز train.py است. خانه‌ی پر یعنی حافظه روی GPU مقیم است. برگرفته از train.py و inference_controller.py در Miles نسخه‌ی v0.1.2.

امکانات نسخه‌ی پایه‌ی SGLang برای آموزش‌دهنده

این اجاره از طریق اندپوینت‌های HTTP انجام می‌شود که در نسخه‌ی رسمی v0.5.22 از SGLang وجود دارند {{code}}. راهنمای RL در SGLang قاعده‌ی طراحی را به‌وضوح بیان کرده است: SGLang مانند کتابخانه‌ای عمل می‌کند که آموزش‌دهنده آن را فرا می‌خواند، نه فریم‌ورکی که مالک کل حلقه باشد {{docs}}. فریم‌ورک Miles هر موتور استنتاج را به‌صورت یک فرایند (process) معمولی sglang serve روی بستر HTTP هدایت می‌کند.

آزادسازی حافظه: اندپوینت POST /release_memory_occupation حافظه‌ی GPU را بر اساس برچسب آزاد می‌کند و POST /resume_memory_occupation آن را برمی‌گرداند. سرور به فلگ --enable-memory-saver نیاز دارد که به‌طور پیش‌فرض غیرفعال است. برچسب‌ها عبارت‌اند از kv_cache، weights و cuda_graph. در مستندات فقط دو مورد اول ذکر شده، اما کد هر سه را می‌پذیرد؛ پس کد ملاک است. سیستم ذخیره‌ساز حافظه، حافظه‌ی فیزیکی را آزاد می‌کند اما آدرس‌های مجازی را نگه می‌دارد؛ در نتیجه گراف‌های CUDA ثبت‌شده بدون نیاز به ثبت مجدد معتبر می‌مانند. این فراخوانی الزام می‌کند که سرور بیکار باشد، بنابراین ابتدا تولید متن را متوقف کنید.

توقف و ادامه‌ی تولید: اندپوینت POST /pause_generation یک حالت ورودی می‌گیرد. حالت پیش‌فرض در SGLang مقدار abort است که تمام درخواست‌های در حال اجرا را پایان می‌دهد. Miles به‌طور پیش‌فرض از حالت retract استفاده می‌کند که درخواست‌های در حال اجرا را به صف انتظار بازمی‌گرداند تا پس از به‌روزرسانی وزن‌ها، دوباره پیش‌پرکنی (prefill) شوند. حالت سوم، یعنی in_place، کش کلید-مقدار آن‌ها را که با وزن‌های قبلی تولید شده حفظ می‌کند.

نشست به‌روزرسانی وزن: ابتدا begin_weight_update، سپس یک یا چند فراخوانی update_weights_from_* و در آخر end_weight_update. این نشست (session) به این دلیل وجود دارد که لایه‌های کوانتیزه‌شده پس از بارگذاری به یک بار بسته‌بندی مجدد نیاز دارند. انجام یک‌باره‌ی این کار در هر بارگذاری مجدد، بسیار کم‌هزینه‌تر از انجام آن به ازای هر باکت (bucket) است. پس از پایان نشست، دستور update_weight_version نسخه‌ی جدید را برچسب می‌زند. درخواستی که در جریان این به‌روزرسانی زنده بماند، اسپن‌های (span) weight_versions را در meta_info خود گزارش می‌دهد؛ بنابراین می‌توانید ببینید کدام توکن‌ها (token) حاصل کدام وزن‌ها بوده‌اند. شکل 7.2 یک به‌روزرسانی را با روش انتقال پیش‌فرض نشان می‌دهد.

یک به‌روزرسانی وزن بین Miles و SGLangبه‌روزرسانی وزن یک نشست است: توقف موقت، آغاز، ارسال هر باکت، پایان با یک بسته‌بندی مجدد، تعیین نسخه و ازسرگیری.
یک به‌روزرسانی وزن بین Miles و SGLang رتبه‌ی 0 در Miles اجرای SGLang را در حالت پس‌کشی متوقف می‌کند، نشست به‌روزرسانی وزن را باز می‌کند، هر باکت را به‌صورت توصیف HTTP و سپس همه‌پخشی NCCL می‌فرستد، نشست را می‌بندد تا لایه‌های کوانتایزشده یک‌بار بازبسته‌بندی شوند، نسخه‌ی وزن جدید را ثبت می‌کند و تولید را از سر می‌گیرد. رتبه‌ی 0 در Miles سرور SGLang 1 POST /pause_generation حالت پس‌کشی: درخواست‌های در حال اجرا به صف بازمی‌گردند 2 POST /begin_weight_update لایه‌ها برای نوشتن در فرمت چک‌پوینت آماده شدند 3 POST /update_weights_from_distributed یک باکت: نام‌ها، dtypeها و شکل‌ها 4 همه‌پخشی NCCL از رتبه‌ی 0 تکرار ردیف‌های 3 و 4 برای هر باکت 5 POST /end_weight_update بسته‌بندی مجدد یک‌باره‌ی لایه‌های کوانتایزشده 6 POST /update_weight_version توکن‌های بعدی نسخه‌ی جدید را حمل می‌کنند 7 POST /continue_generation پیش‌پرکنی مجدد درخواست‌های پس‌کشیده‌شده
از بالا به پایین بخوانید. ردیف‌های 3 و 4 برای هر باکت از انتقال پیش‌فرض همه‌پخشی NCCL یک‌بار تکرار می‌شوند. برگرفته از weight_update/session.py و protocols/broadcast.py در Miles نسخه‌ی v0.1.2 و اندپوینت‌های موجود در http_server.py در نسخه‌ی v0.5.22.

چهار روش برای انتقال وزن‌ها

Miles روش انتقال را با فلگ --update-weight-transfer-mode انتخاب می‌کند {{code}}:

حالت نحوه‌ی جابه‌جایی بایت‌ها کاربرد مناسب
broadcast (پیش‌فرض) یک گروه NCCL به ازای هر مرحله از پایپ‌لاین (pipeline)؛ رتبه‌ی (rank) 0 آموزش‌دهنده هر باکت را به همه‌ی GPUهای موتور همه‌پخشی (broadcast) می‌کند GPUهای جداگانه برای آموزش‌دهنده و موتور
broadcast_packed همان گروه، یک تنسور (tensor) بایتی یکپارچه به ازای هر باکت Megatron، بدون اشتراک مکانی (non-colocated)
p2p پروتکل Mooncake RDMA روی آدرس‌های GPU که هر رتبه‌ی موتور اعلام کرده می‌نویسد مدل‌های MoE چند‌نودی
disk-delta بایت‌های تغییریافته‌ی چک‌پوینت (checkpoint) به حافظه‌ی مشترک ارسال شده و هر موتور نسخه‌ی محلی خود را پچ (patch) می‌کند نبود مسیر ارتباطی RDMA یا NCCL

اگر از فلگ --colocate استفاده کنید، Miles این فلگ را نادیده می‌گیرد و همیشه هندل‌های CUDA IPC را از طریق /update_weights_from_tensor ارسال می‌کند. تیمی که در یک اجرای مشترک حالت p2p را تنظیم کند، بدون آنکه متوجه شود معیار اشتباهی را اندازه‌گیری می‌کند.

تیم Miles زمان‌بندی‌های P2P را روی کلاسترهای H100 با باکت‌های 1 گیگابایتی گزارش داده است {{team 2026-10}}. برای مدل Qwen3-235B-A22B روی 8 نود، زمان از 10,754 میلی‌ثانیه با همه‌پخشی NCCL به 3,162 میلی‌ثانیه رسید؛ یعنی 71 درصد کاهش. برای Kimi-K2 روی 32 نود، زمان از 53,279 میلی‌ثانیه به 7,227 میلی‌ثانیه کاهش یافت؛ یعنی 86 درصد کمتر. اما روی یک نود، P2P کندتر بود: برای GLM-4.7-9B-Flash زمان 68.6 درصد بیشتر شد و در تست 4 لایه‌ی GLM-5 زمان 72.2 درصد افزایش یافت. دلیل آن در نوع طراحی نهفته است: همه‌پخشی کل مدل را به تمام رتبه‌های موتور می‌فرستد، در حالی که با موازی‌سازی متخصصان (expert parallelism)، هر رتبه فقط به کسری از آن نیاز دارد.

طبق گزارش RadixArk حدود 2 درصد از پارامترهای BF16 در یک گام تغییر می‌کنند {{team 2026-08}}. برای GLM-4.7-Flash، حجم داده‌ی disk-delta از 62.4 گیگابایت به 0.69 تا 0.83 گیگابایت به ازای هر به‌روزرسانی کاهش یافت، با توقف تولیدِ 3 تا 5 ثانیه‌ای. این‌ها ارقام آن‌ها از پست وبلاگی Miles v0.1 در تاریخ 2026-08-18 است. ما این موارد را بازتولید نکرده‌ایم.

دیدگاه ما: ابتدا روی یک نود و به‌صورت مشترک با مسیر CUDA IPC شروع کنید. تنها زمانی به سراغ GPUهای مجزا بروید که زمان پیش‌روی، بخش عمده‌ی گام آموزش را پر کند. گزینه‌ی p2p را فقط برای مدل‌های MoE چند‌نودی انتخاب کنید که جدول ارائه‌شده از سوی سازنده بهبود آن را نشان می‌دهد؛ در سایر موارد از broadcast استفاده کنید.

مفهوم «کاملاً هم‌سیاست» و محدودیت‌های آن

در اینجا موتور سرویس‌دهی و آموزش‌دهنده باید بر سر یک عدد به توافق برسند. اگر به SGLang و Megatron یا FSDP دقیقاً وزن‌ها و توکن‌های یکسانی بدهید، کرنل‌های آن‌ها باز هم ممکن است لگاریتم احتمال‌های متفاوتی برگردانند؛ زیرا عملیات کاهش (reduction) آن‌ها با ترتیب متفاوتی اجرا می‌شود. در نتیجه، در نسبت PPO دو مفهوم با هم اشتباه می‌شوند: «سیاست تغییر کرده» و «کرنل‌ها تفاوت دارند». Miles این اختلاف را با نام train/train_rollout_logprob_abs_diff گزارش می‌کند که در حالت کاملاً هم‌سیاست (true on-policy) باید دقیقاً 0 باشد.

پیش از هر چیز، دو واقعیت درباره‌ی SGLang اهمیت دارد. اول اینکه SGLang لگاریتم احتمال‌ها را بعد از اعمال مقیاس‌بندی دما (temperature scaling) برمی‌گرداند، مگر اینکه درخواست به‌صورت حریصانه (greedy) باشد یا SGLANG_RETURN_ORIGINAL_LOGPROB تنظیم شده باشد؛ همان‌طور که در بخش 4.6 توضیح داده شد. گاهی فرایند پیش‌روی با دمایی غیر از 1 نمونه‌گیری می‌کند، در حالی که آموزش‌دهنده لگاریتم احتمال‌ها را در دمای 1 محاسبه می‌کند. در این حالت آموزش‌دهنده اختلافی را می‌بیند که ربطی به کرنل‌ها ندارد.

دوم اینکه فلگ --rl-on-policy-target در نسخه‌ی v0.5.22 فقط یک مقدار را می‌پذیرد: fsdp، و این مقدار استنتاج قطعی (deterministic) را تحمیل می‌کند {{code}}. این حالت کرنل‌های ضرب ماتریسی، سافت‌مکس (softmax) و نرمال‌سازی را با نسخه‌های پایا در دسته (batch-invariant) جایگزین کرده و نمونه‌گیر (sampler) PyTorch را اجباری می‌کند. همچنین کش رادیکس (radix cache) را غیرفعال می‌کند، مگر اینکه بک‌اند اتنشن (attention) یکی از موارد fa3، fa4، triton یا ascend باشد.

فریم‌ورک Miles با یک نقشه‌ی اجرا که فلگ‌های متناظر را در هر دو سمت تنظیم می‌کند، روی این سازوکار سوار می‌شود. دامنه‌ی پوشش محدود است. در نسخه‌ی v0.1.2، تنها پروفایل مدل موجود، مدل متراکم Qwen3 است: Qwen3-0.6B، Qwen3-4B، Qwen3-4B-Base و Qwen3-4B-Instruct-2507. سه ایشوی باز در مخزن (repository) Miles نشان می‌دهند که تطابق بیتی هنوز در چه بخش‌هایی دچار شکست می‌شود:

  • ایشوی #1485: خروجی‌های down_proj مدل Qwen3-4B در موازی‌سازی تنسورِ 2 با هم تفاوت دارند. SGLang تعداد 38 نتیجه‌ی جزئی را در دو گروه 19تایی جمع می‌زند، اما Miles آن‌ها را در یک درخت دوتایی جمع می‌کند. جمع در فرمت BF16 خاصیت شرکت‌پذیری ندارد {{issue radixark/miles#1485}}.
  • ایشوی #3714: سرویس‌دهی قطعی، سقف کانال‌های NCCL را روی 8 قفل می‌کند، در حالی که آموزش‌دهنده از 24 استفاده می‌کند. سپس انتقال وزن با خطای Message truncated : received 6144 bytes instead of 2048 با شکست مواجه می‌شود {{issue radixark/miles#3714}}.
  • ایشوی #3277: پس از یک بازگردانی، پیش‌پرکنی مجدد تحت وزن‌های جدید، مسیرهای ثبت‌شده‌ی MoE را رونویسی می‌کند. در نتیجه، پاسخ حامل مسیرهای جدید اما با لگاریتم احتمال‌های قدیمی خواهد بود {{issue radixark/miles#3277}}.

دیدگاه ما: حالت کاملاً هم‌سیاست را صرفاً ابزاری برای عیب‌یابی مدل‌های متراکم Qwen3 بدانید، نه کلیدی برای فعال‌سازی در تمام اجراها. با این حال، اختلاف لگاریتم احتمال را همیشه در تمام اجراها ثبت کنید. اختلاف زیاد نشان‌دهنده‌ی مشکل در تبدیل یا خطای کرنل است و هیچ الگوریتم RL نمی‌تواند آن را حل کند.

نتایج ارزیابی با Miles روی یک پردازنده‌ی GB10

ما الگوریتم GRPO را با ایمیج radixark/miles:latest روی یک کارت NVIDIA GB10 اجرا کردیم. این ایمیج شامل Miles کامیت 08752a12 و SGLang نسخه‌ی 0.5.22.dev46+g7b6993a بود. مدل انتخابی Qwen/Qwen3-0.6B روی GSM8K بود که FSDP و SGLang به‌صورت مشترک روی یک GPU قرار داشتند. هر یک از 12 گام، 32 پرامپت را 8 بار تا سقف 1,024 توکن پاسخ با دمای 1 نمونه‌گیری می‌کردند. سهم حافظه‌ی SGLang برابر با 0.4 بود.

یک گام GRPO، همان‌طور که Miles لاگ می‌کند capture/gpu/out-miles/plain-excerpt.log
metrics.py:94 - perf 0: {'rollout/raw_reward_unfiltered': 0.62890625, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.62890625, 'rollout/episode_response_length/mean': 739.92578125, 'rollout/episode_response_length/median': 759.5, 'rollout
{'train/loss': -4.656612873077393e-10, 'train/pg_loss': -4.656612873077393e-10, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.015336457639932632, 'train/train_rollout_kl': 0.0006840902497060597, 'train/grad_norm': 0.5216571092605591, 'train/lr-pg_0': 1e-06, 'train/step': 0}
timer.py:42 - Timer update_weights end (elapsed: 0.7s)
[2026-10-17 15:55:01] post-warmup freeze_gc failed

معیارهای مسیر پیش‌روی شبیه‌سازی‌شده و آموزش برای گام نخست، یک به‌روزرسانی وزن و یک هشدار. خطوط طولانی کوتاه شده‌اند.

زمان هر گام را بر اساس فاز اندازه گرفتیم. مرحله‌ی پیش‌روی در SGLang میانه‌ای برابر با 57.2 ثانیه، با سرعت تقریبی 3,113 توکن بر ثانیه ثبت کرد. سپس آموزش‌دهنده لگاریتم احتمال‌ها را در 25.2 ثانیه مجدداً محاسبه کرد و فرایند آموزش 80.3 ثانیه طول کشید. به‌روزرسانی وزن‌ها در SGLang از طریق CUDA IPC حدود 0.65 ثانیه زمان برد. آزادسازی حافظه‌ی SGLang میانه‌ی 0.8 ثانیه و حداکثر 4.0 ثانیه داشت و بازپس‌گیری آن 0.9 ثانیه طول کشید.

یک گام GRPO روی یک GB10، به تفکیک فازروی یک GB10، فازهای ترینر 1.8 برابر مسیر پیش‌روی شبیه‌سازی‌شده‌ی SGLang طول کشید و به‌روزرسانی وزن زیر یک ثانیه زمان برد.
یک گام GRPO روی یک GB10، به تفکیک فاز میانه‌ی ثانیه‌ها در هر فاز در 12 گام ساده‌ی GRPO در Miles با Qwen3-0.6B روی یک کارت NVIDIA GB10، با قرارگیری مشترک SGLang و FSDP. مسیر پیش‌روی شبیه‌سازی‌شده‌ی SGLang حدود 57.2 ثانیه طول می‌کشد، ترینر احتمالات لگاریتمی را در 25.2 ثانیه مجدداً محاسبه و طی 80.3 ثانیه آموزش می‌دهد، به‌روزرسانی وزن 0.65 ثانیه طول می‌کشد، و خواب و بیداری 1.7 ثانیه زمان می‌برد. 0 25 50 75 100 میانه‌ی ثانیه در هر گام 57.2 s rollout 25.1 s احتمالات لاگ 80.3 s آموزش 0.65 s وزن‌ها 1.70 s خواب و بیداری
میانه‌ی ثانیه‌ها در هر فاز طی 12 گام. آبی تولید SGLang، بنفش ترینر، و کهربایی به‌روزرسانی وزن و آزادسازی حافظه میان آن‌ها است. از capture/gpu/summary/miles-gb10.json.

مرحله‌ی پیش‌روی در این ابعاد گلوگاه نبود. برای یک مدل 0.6B روی یک GPU، داشتن یک موتور سرویس‌دهی سریع‌تر حداکثر می‌توانست حدود یک‌سوم گام (35 درصد) صرفه‌جویی کند. به‌روزرسانی وزن و آزادسازی حافظه—که بخش زیادی از این بحث به آن اختصاص دارد—در مجموع 2.4 ثانیه هزینه داشت. کل گام بر اساس جمع میانه‌ی فازها حدود 165 ثانیه زمان برد.

اختلاف لگاریتم احتمال در تمام 12 گام بین 0.0143 و 0.0163 باقی ماند. این همان عددی است که حالت کاملاً هم‌سیاست برای صفر کردنش ساخته شده، و حالت عادی تغییری در آن ایجاد نمی‌کند. پاداش خام بین 0.586 و 0.758 بالا و پایین شد. دوازده گام برای نمایش یادگیری کافی نیست؛ بنابراین به این اجرا به‌عنوان زمان‌بندی و سنجش اختلاف نگاه کنید، نه یک منحنی آموزش.

چهل و هشت گام

سپس همان کار را برای 48 گام با همان تنظیمات اجرا کردیم: سهم حافظه 0.4 و دما 1، ابتدا با مقدار اولیه‌ی تصادفی (seed) پیش‌فرض. در طول این گام‌ها، مدل شروع به یادگیری کرد و همراه با آن، مرحله‌ی پیش‌روی هم سریع‌تر شد.

آخرین گام GRPO از 48 گام capture/gpu/out-miles/plain-48-excerpt.log
metrics.py:94 - perf 47: {'rollout/raw_reward_unfiltered': 0.79296875, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.79296875, 'rollout/episode_response_length/mean': 421.73046875, 'rollout/episode_response_length/median': 369.5, 'rollou
{'train/loss': -3.4924596548080444e-09, 'train/pg_loss': -3.4924596548080444e-09, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.014126655645668507, 'train/train_rollo
Subprocess scheduler_0 (pid=3263) crashed with exit code -15. Triggering SIGQUIT for cleanup...
Job 'raysubmit_MKE9XLVeZ87U7iQV' succeeded

معیارهای مسیر پیش‌روی شبیه‌سازی‌شده و آموزش گام 47، خروج اسکژولر، و وضعیت کار. خطوط طولانی کوتاه شده‌اند.

میانگین پاداش خام در 8 گام اول 0.636 و در 8 گام آخر 0.758 ثبت شد. پاسخ‌ها کوتاه‌تر شدند؛ میانگین طول آن‌ها از 724 به 447 توکن کاهش یافت و سهم نمونه‌های قطع‌شده در سقف 1,024 توکن از 0.33 به 0.08 افت کرد. SGLang توکن‌های کمتری برای تولید داشت، بنابراین زمان پیش‌روی از 60.2 ثانیه به 32.7 ثانیه در هر گام کاهش یافت. نرخ تولید آن نیز از 3,084 به 3,501 توکن بر ثانیه افزایش پیدا کرد.

چهل و هشت گام GRPO روی یک GB10در طول 48 گام، پاداش خام از میانگین 0.636 به 0.758 افزایش یافت و سهم نمونه‌های بریده‌شده از 0.33 به 0.08 کاهش یافت.
چهل و هشت گام GRPO روی یک GB10 پاداش خام و سهم نمونه‌های قطع‌شده در مرز 1024 توکن برای هر یک از 48 گام GRPO ساده در Miles با Qwen3-0.6B روی GSM8K بر یک NVIDIA GB10 با سید پیش‌فرض. میانگین پاداش 8 گام نخست 0.636 و 8 گام پایانی 0.758 است. سهم نمونه‌های بریده‌شده طی همین گام‌ها از میانگین 0.33 به 0.08 کاهش می‌یابد. خطوط چین‌چین نشان‌دهنده‌ی پاداش خام اجراهایی با سیدهای 2 و 3 هستند که به ترتیب از میانگین‌های 0.653 به 0.736 و از 0.614 به 0.766 رشد می‌کنند. 0 0.25 0.5 0.75 1 0 8 16 24 32 40 47 گام GRPO کسر پاداش خام سهم نمونه‌های بریده‌شده در 1024 توکن سیدهای 2 و 3
پاداش خام و سهم نمونه‌های بریده‌شده در 1024 توکن برای هر گام از سید پیش‌فرض. خطوط چین‌چین پاداش خام سیدهای 2 و 3 هستند. میانگین‌ها روی 8 گام اول و 8 گام آخر محاسبه شده‌اند. از capture/gpu/summary/miles-gb10.json.

از یک گام به گام بعد، پاداش تا 0.207 تغییر کرد (از 0.801 در گام 30 به 0.594 در گام 31). روند کلی را بر اساس میانگین 8 گام بخوانید، نه بر اساس نوسان یک گام منفرد.

اختلاف لگاریتم احتمال تغییری نکرد. این مقدار در 8 گام اول 0.0153 و در 8 گام آخر 0.0146 بود و در تمام 48 گام بین 0.0138 و 0.0162 ماند. در 48 گام از اجرای این مدل 0.6B، آموزش نتوانست این شکاف را ببندد. Miles این اختلاف را ناشی از تفاوت بین کرنل‌های SGLang و FSDP می‌داند. حالت کاملاً هم‌سیاست بخشی از Miles است که روی رفع این مشکل کار می‌کند.

خطوط انتهایی لاگ نیز جای توجه دارند. اسکژولر (scheduler) SGLang عبارت crashed with exit code -15 را چاپ کرد و سپس جاب Ray وضعیت موفقیت را گزارش داد. کد خروجی 15- یعنی اسکژولر سیگنال SIGTERM را دریافت کرده که در اینجا به دلیل پایان کار رخ داده است. هشدارهای سیستم خود را بر اساس وضعیت جاب تنظیم کنید، نه صرفاً بر اساس این یک خط.

دو خط لاگ دیگر هم هستند که باید پیش از اعتماد به اجرا از آن‌ها باخبر باشید: حدود 30 درصد نمونه‌ها در اجرای 12 گامه و 20 درصد در اجرای 48 گامه به سقف 1,024 توکن رسیدند؛ بنابراین پاداش محاسبه‌شده شامل پاسخ‌هایی است که پیش از رسیدن به انتها قطع شده‌اند. همچنین SGLang در زمان راه‌اندازی، یک بار پیام post-warmup freeze_gc failed را چاپ کرد. فرایند آموزش بعد از آن به شکل عادی پیش رفت، بنابراین این هشدار در این آزمایش هزینه‌ای نداشت.

دو مقدار اولیه‌ی تصادفی دیگر

ما همان 48 گام را دو بار دیگر با MILES_SEED=2 و MILES_SEED=3 اجرا کردیم. این متغیر هم سید آموزش و هم سید پیش‌روی را تنظیم می‌کند. سیستم GB10 در تاریخ 2026-10-18 زیر این فشار کاری سه بار خاموش شد و لیست بوت سیستم سه راه‌اندازی مجدد کوتاه را در آن روز ثبت کرده است. به همین دلیل این اجراها مجهز به یک سیستم محافظ شدند: اسکریپتی که در صورت رسیدن دمای GPU به 84 درجه‌ی سانتی‌گراد (یا 80 درجه در 30 دقیقه‌ی اول) کانتینر را موقتاً متوقف می‌کرد. این اسکریپت پس از حدود 45 تا 60 ثانیه و با رسیدن دما به 72 درجه یا کمتر، اجرای کانتینر را ادامه می‌داد.

در طول 9.3 ساعت اجرای سیدهای 2 و 3، کانتینر حدود 58 درصد از زمان در وضعیت تعلیق قرار داشت. توقف موقت فرایند، اجرای آن را متوقف می‌کند اما در محاسبات ریاضی آن تغییری نمی‌دهد؛ بنابراین معیارهای پاداش، طول پاسخ‌ها، سهم قطع‌شدن و اختلاف لگاریتم احتمال را معتبر می‌دانیم. البته ما این موضوع را با مقایسه‌ی دو اجرای متوقف‌شده و بدون توقف روی یک سید یکسان بررسی نکرده‌ایم. زمان‌های پیش‌روی معتبر نیستند و ما آن‌ها را برای سیدهای 2 و 3 گزارش نمی‌کنیم.

آخرین گام سید 2 capture/gpu/out-miles/plain-48-s2-excerpt.log
metrics.py:94 - perf 47: {'rollout/raw_reward_unfiltered': 0.6484375, 'rollout/num_training_samples': 256, 'rollout/episode_raw_reward': 0.6484375, 'rollout/episode_response_length/mean': 514.0390625, 'rollout/episode_response_length/median
{'train/loss': -5.122274160385132e-09, 'train/pg_loss': -5.122274160385132e-09, 'train/entropy_loss': 0.0, 'train/pg_clipfrac': 0.0, 'train/ppo_kl': 0.0, 'train/ess_ratio': 1.0, 'train/train_rollout_logprob_abs_diff': 0.014963770285248756,
Job 'raysubmit_y4umCbEa8Qp5Bbad' succeeded

معیارهای مسیر پیش‌روی شبیه‌سازی‌شده و آموزش برای گام 47 با MILES_SEED=2 و وضعیت کار. خطوط طولانی کوتاه شده‌اند.

میانگین، 8 گام اول / 8 گام آخر سید پیش‌فرض سید 2 سید 3
پاداش خام 0.636 / 0.758 0.653 / 0.736 0.614 / 0.766
طول پاسخ، توکن 724 / 447 712 / 480 734 / 456
سهم قطع‌شده در 1,024 توکن 0.33 / 0.08 0.30 / 0.12 0.34 / 0.09
اختلاف لگاریتم احتمال 0.0153 / 0.0146 0.0153 / 0.0150 0.0156 / 0.0146

نتایج اندازه‌گیری ما در هر سه سید یکسان بود. پاداش افزایش یافت، پاسخ‌ها کوتاه‌تر شدند و نمونه‌های کمتری قطع شدند. اختلاف لگاریتم احتمال در تمامی 144 گام بین 0.0136 و 0.0164 باقی ماند. بیشترین جهش پاداش از یک گام به گام بعد برای این سه سید به ترتیب 0.207، 0.160 و 0.203 بود.

حالت کاملاً هم‌سیاست روی GB10 اجرا نشد

سپس فلگ --true-on-policy-mode را همراه با فلگ‌های مثال Miles Triton تنظیم کردیم. SGLang شروع به کار کرد، اما آموزش‌دهنده 61 ثانیه پس از آغاز اسکریپت راه‌انداز متوقف شد.

ترینر FSDP اتنشن Triton را رد می‌کند capture/gpu/out-miles/true-on-policy-error.log
[2026-10-17 16:28:41.340 launcher] common.py:290 - EXEC: mkdir -p /root/lab/mode
ValueError: Specified `attn_implementation="triton"` is not supported. The only possible arguments are `attn_implementation="eager"`, `"paged|eager"`, `"attn_implementation=flash_attention_2"`, `"attn_implementation=paged|flash_attention_2"`, `"attn_implementa
[2026-10-17 16:29:42.606 trainer_controller_actor] cell.py:251 - ft op=execute phase=fail cell=trainer-engine-actor-00000 fn=init elapsed_s=0.7

اولین سطر راه‌انداز، خطای ترینر و مقداردهی اولیه‌ی ناموفق. خطوط طولانی کوتاه شده‌اند.

مقدار این فلگ از مثال اشتباهی برداشته شده بود. در اکتور FSDP، رابط (bridge) اتنشن SGLang Triton تنها زمانی فعال می‌شود که torch.version.hip تنظیم شده باشد؛ یعنی فقط روی GPUهای شرکت AMD {{code}}. روی GPUهای NVIDIA، این مقدار مستقیماً به کتابخانه‌ی transformers ارسال می‌شود که هیچ پیاده‌سازی اتنشنی به نام triton ندارد.

تنها قرارداد معتبر برای حالت کاملاً هم‌سیاست در Miles، ترکیب بک‌اند fa3 در SGLang با flash_attention_3 در FSDP است {{code}}. ما مجدداً کار را با فلگ‌های این قرارداد اجرا کردیم تا ببینیم در چه نقطه‌ای متوقف می‌شود.

فلگ‌های قرارداد روی یک GB10 capture/gpu/out-miles/true-on-policy-fa3-error.log
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.
[2026-10-17 21:03:24] Received sigquit from a child process. It usually means the child failed.
[2026-10-17 21:03:30.637 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'
[2026-10-17 22:06:46.137 rollout_executor] http_utils.py:241 - Error: Server error '503 Service Unavailable' for url 'http://172.17.0.3:20035/generate'

شروع SGLang، شکست آن، و نخستین و آخرین خطای پیش‌آمده در ادامه‌ی مسیر پیش‌روی شبیه‌سازی‌شده. پیشوندهای پردازش حذف شده‌اند.

سرویس SGLang تنها 21 ثانیه پس از شروع به کار متوقف شد. بک‌اند FA3 آن فقط از GPUهای با معماری SM 8.0 تا SM 9.0 پشتیبانی می‌کند، در حالی که GB10 دارای معماری SM 12.1 است. در ایمیج Miles که ما استفاده کردیم (commit با شناسه‌ی 08752a12)، تنها قرارداد موجود برای حالت کاملاً هم‌سیاست به FA3 وابسته است؛ بنابراین امکان اجرای آن روی GB10 وجود ندارد.

نکته‌ی مهمی که باید به خاطر سپرد، اتفاقی است که پس از آن رخ داد: با اینکه موتور پیش‌روی از کار افتاده بود، جاب Miles متوقف نشد. حلقه‌ی پیش‌روی آن به ارسال درخواست‌ها به مسیریاب (router) ادامه داد و مسیریاب هم با خطای 503 Service Unavailable پاسخ می‌داد. لاگ برنامه حدود 200,000 پیام خطا از این دست را در طول 63 دقیقه ثبت کرد، تا اینکه خودمان کانتینر را متوقف کردیم. جاب هرگز وضعیت شکست را گزارش نداد. در طول آن یک ساعت، وضعیت GPU را ثبت نکردیم.

دیدگاه ما درباره‌ی نتیجه‌ی GB10: پیش از برنامه‌ریزی برای اجرای حالت کاملاً هم‌سیاست، بررسی کنید که آیا GPU و ایمیج شما هر دو کرنلِ مشخص‌شده در قرارداد را دارند یا خیر. سپس لاگ سرور SGLang را هم بررسی کنید، نه فقط آموزش‌دهنده را؛ زیرا موتور پیش‌روی که از کار افتاده ممکن است شبیه به موتوری به نظر برسد که صرفاً با سرعت پایینی کار می‌کند. در ایمیجی که اجرا کردیم (Miles با commit شناسه‌ی 08752a12)، این قرارداد مستلزم FlashAttention 3 در هر دو سمت است؛ مسیری که مشخصاً برای GPUهای نسل Hopper نوشته شده است.

اجرای Miles روی نسخه‌ی اختصاصی خودش از SGLang

Miles از انتشار رسمی SGLang که در ادامه‌ی این کتابچه شرح داده شده استفاده نمی‌کند. ایمیج داکر آن بر پایه‌ی lmsysorg/sglang:v0.5.21 ساخته شده و branch به نام sglang-miles را دریافت می‌کند. فایل قفل نسخه‌ی v0.1.2 مستقیماً commit با شناسه‌ی b84bec5761a6 از SGLang را ثابت می‌کند. مستندات Miles این موضوع را کاملاً صریح بیان می‌کنند: استفاده از sglang رسمی یا نسخه‌ی اصلی Megatron-LM در کنار Miles جواب نمی‌دهد {{docs}}.

حداقل چهار موردی که Miles فراخوانی می‌کند در نسخه‌ی v0.5.22 رسمی وجود ندارند: اندپوینت /pull_weights برای روش disk-delta، متد register_lora_adapter، متد get_parallelism_info و فلگ --true-on-policy-contract.

این branch اختصاصی خلاصه‌ی خوبی از کل این بخش است. یادگیری تقویتی چیزهایی از یک موتور سرویس‌دهی می‌خواهد که کاربرانِ سرویس‌دهی معمولی هرگز نخواسته‌اند: باید بتواند حافظه را پس بدهد و وزن‌ها را در قالب یک نشست تغییر دهد. باید گزارش دهد کدام وزن‌ها هر توکن را تولید کرده‌اند و خروجی‌هایش را بیت‌به‌بیت با برنامه‌ی دیگری تطبیق دهد. برخی از این قابلیت‌ها اکنون در نسخه‌ی اصلی SGLang هستند، و باقی موارد تا زمان آماده‌سازی روی یک branch نگهداری می‌شوند.

یک رخداد واقعی: ایشوی #860 در مخزن Miles گزارش می‌دهد که متد /release_memory_occupation برای مدل‌های دارای اتنشن پنجره‌ی لغزان (Sliding-Window Attention) «در سکوت هیچ کاری انجام نمی‌دهد» {{issue radixark/miles#860}}. استخر KV پنجره‌ی لغزان، ذخیره‌ساز حافظه را در سازنده‌ی خود غیرفعال می‌کند؛ به همین دلیل در یک اجرای مشترک، به محض شروع Megatron حافظه پر می‌شود. یک کاربر گزارش داده که 30.19 گیگابایت از استخر KV در مدل DeepSeek-V4-Flash دست‌نخورده باقی مانده بود. این ایشو در تاریخ 2026-10-16 همچنان باز بود. پیش از اعتماد به اجرای مشترک روی هر مدل جدید، حتماً بررسی کنید که همه‌ی برچسب‌های حافظه واقعاً حافظه را آزاد می‌کنند.

منابع: مستندات Miles در نسخه‌ی v0.1.2 (با شناسه‌ی a22fd824): فایل‌های train.py، release-lock.json، docker/Dockerfile، docs/developer/versions.md، miles/ray/rollout/inference_controller.py، miles/backends/training_utils/weight_update/protocol.py، session.py، protocols/broadcast.py، protocols/cuda_ipc.py، protocols/p2p.py، protocols/delta.py، miles/true_on_policy/model_profiles.py، docs/advanced/p2p-weight-transfer.md؛ نسخه‌ی v0.5.22 از SGLang: فایل‌های python/sglang/srt/entrypoints/http_server.py، python/sglang/srt/managers/io_struct.py (کلاس PauseGenerationReqInput)، python/sglang/srt/managers/scheduler_components/weight_updater.py، python/sglang/srt/constants.py، python/sglang/srt/arg_groups/fields/exec_.py، python/sglang/srt/arg_groups/choices.py، python/sglang/srt/arg_groups/attention_hook.py، python/sglang/srt/layers/logprob_processor.py، docs/docs/advanced_features/sglang_for_rl.mdx؛ ایشوهای شماره #860، #1485، #3277، #3714 در Miles؛ پست‌های منتشرشده‌ی RadixArk و LMSYS در lmsys.org/blog/2025-11-19-miles و lmsys.org/blog/2026-08-18-miles-v0-1. فریم‌ورک Miles در commit با شناسه‌ی 08752a12: فایل‌های miles/backends/fsdp_utils/actor.py، miles/true_on_policy/schema.py، examples/infra_features/true_on_policy/run_simple.py و run_simple_amd_triton.py. داده‌های ارزیابی: capture/gpu/miles_grpo.py، capture/gpu/miles_summary.py، capture/gpu/out-miles/plain-excerpt.log، capture/gpu/out-miles/plain-48-excerpt.log، capture/gpu/out-miles/plain-48-s2-excerpt.log، capture/gpu/out-miles/plain-48-s3-excerpt.log، capture/gpu/out-miles/plain-48-thermostat.log، capture/gpu/out-miles/true-on-policy-error.log، capture/gpu/summary/miles-gb10.json، capture/gpu/out-miles/true-on-policy-fa3-error.log، capture/gpu/incidents/gb10-boot-list.txt.

ترجمه‌ی فارسی SGLang as an RL rollout engine از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما