بخش 3.9 · تنظیم متناسب با ترافیک شما

استفاده از vLLM به‌عنوان موتور تولید مسیر پیش‌روی شبیه‌سازی‌شده در یادگیری تقویتی

Use vLLM as an RL rollout engine

فهرست مطالب
  1. چرخه
  2. اجزای سازنده
  3. آزمایش دستیِ به خواب بردن و بیدار کردن
  4. مشکلات شناخته‌شده‌ی حالت خواب در نسخه‌ی 0.31.0
  5. بررسی لاگ‌پرواب‌های مسیر پیش‌روی شبیه‌سازی‌شده

ترینر یادگیری تقویتی (RL) بین گام‌های آموزش، سرور را قرض می‌گیرد و vLLM نیز مسیرهایی برای به خواب بردن، بیدار کردن و بارگذاری وزن‌های جدید در اختیارش می‌گذارد.

ترینر RL شما باید مسیرهای پیش‌روی شبیه‌سازی‌شده (rollout) را تولید کند و سپس وزن‌ها را به‌روزرسانی کند. در پایان این بخش، با مسیرهای کنترلی که فریم‌ورک‌های RL فراخوانی می‌کنند آشنا خواهید شد.

چرخه

هر گام در RL دو نیمه دارد. نیمه‌ی مسیر پیش‌روی شبیه‌سازی‌شده، با وزن‌های فعلی پاسخ‌ها را تولید می‌کند. نیمه‌ی آموزش، تابع زیان (loss) را محاسبه کرده و وزن‌ها را به‌روزرسانی می‌کند. سپس تولیدکننده قبل از تولید مسیر بعدی، به وزن‌های جدید نیاز دارد.

روی یک مجموعه‌ GPU یکسان، این دو نیمه به‌نوبت از حافظه‌ی مشترک استفاده می‌کنند. تولیدکننده باید حافظه‌اش را هنگام آموزش آزاد کند و پس از آن دوباره تحویل بگیرد. سرور vLLM ابزارهای لازم را برای این کار فراهم می‌کند و فریم‌ورک‌های متعددی در RL این مسیرها را صدا می‌زنند. در مستندات vLLM، ابزارهایی مانند verl، OpenRLHF، TRL، NeMo-RL، SkyRL، Prime-RL و چند فریم‌ورک دیگر در میان کاربران آن ذکر شده‌اند.

اجزای سازنده

مسیرهای زیر تنها زمانی فعال می‌شوند که سرور را با VLLM_SERVER_DEV_MODE=1 اجرا کنید. این مسیرها حافظه را آزاد می‌کنند، وزن‌ها را تغییر می‌دهند و متدهایی را روی تمام ورکرها اجرا می‌کنند. هرگز سروری در این حالت را خارج از شبکه‌ی اختصاصی ترینر در دسترس نگذارید.

حالت خواب (Sleep mode). سرور را با --enable-sleep-mode اجرا کنید. فراخوانی /sleep حافظه‌ی GPU را آزاد می‌کند و /wake_up آن را بازمی‌گرداند. در سطح عمیق‌تر از دو سطح موجود (سطح 2)، حالت خواب وزن‌ها را نیز دور می‌اندازد؛ این حالت مناسب گام‌هایی است که در آن‌ها ترینر به هر حال وزن‌های جدید را ارسال خواهد کرد. فلگ --sleep-preserve-parameter-names وزن‌های فریز‌شده را روی GPU نگه می‌دارد تا در هر گام جابه‌جا نشوند.

توقف موقت و ادامه‌ی کار (Pause and resume). مسیر /pause جلوی تولیدهای جدید را می‌گیرد و /resume فرایند تولید را از سر می‌گیرد. توقف موقت می‌تواند درخواست‌های در حال اجرا را لغو کند، منتظر پایان آن‌ها بماند یا آن‌ها را در صف نگه دارد.

به‌روزرسانی وزن‌ها. ترینر انتقال وزن‌ها را با /init_weight_transfer_engine شروع می‌کند، سپس /start_weight_update را فراخوانی کرده، وزن‌ها را می‌فرستد و در نهایت /finish_weight_update را صدا می‌زند. انتقال می‌تواند از طریق NCCL بین GPUها یا با هندل‌های حافظه‌ی CUDA روی یک ماشین انجام شود. مسیر /update_weight_version ثبت می‌کند که مسیرهای شبیه‌سازی‌شده‌ی بعدی از کدام نسخه‌ی وزن‌ها استفاده کنند.

فراخوانی‌های اشتراکی (Collective calls). مسیر /collective_rpc متدی را روی تک‌تک ورکرها اجرا می‌کند. فریم‌ورک‌ها برای تنظیماتی که vLLM به‌طور پیش‌فرض پوشش نمی‌دهد از آن استفاده می‌کنند.

راه‌اندازی بیرونی (External launch). با گزینه‌ی --distributed-executor-backend external_launcher، ابزاری مانند torchrun ورکرهای vLLM را درون فرایندهای (process) خودِ ترینر اجرا می‌کند. برخی فریم‌ورک‌های مستقر روی زیرساخت مشترک (colocated) از این روش استفاده می‌کنند.

آزمایش دستیِ به خواب بردن و بیدار کردن

یک سرور را در حالت توسعه و با فعال بودن حالت خواب اجرا کنید. گزینه‌ی --host 127.0.0.1 دسترسی به مسیرهای کنترلی را به سیستم خودتان محدود می‌کند:

VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen3-8B --enable-sleep-mode --host 127.0.0.1 2>&1 | tee server.log

در ترمینال دوم، سرور را به خواب ببرید، وضعیت را بررسی کنید و بیدارش کنید:

curl -X POST 'http://localhost:8000/sleep?level=1'
curl http://localhost:8000/is_sleeping
curl -X POST 'http://localhost:8000/wake_up'
curl http://localhost:8000/is_sleeping

هر دو مسیر POST کد HTTP 200 با بدنه‌ی خالی برمی‌گردانند. اولین فراخوانی /is_sleeping مقدار {"is_sleeping":true} و دومی {"is_sleeping":false} را برمی‌گرداند. بین فراخوانی‌ها دستور nvidia-smi را اجرا کنید تا ببینید حافظه‌ی GPU هنگام خواب آزاد شده و پس از بیدار شدن دوباره بالا می‌آید.

ما این فراخوانی‌ها را در سطح 1 با مدل کوچک Qwen3-0.6B روی یک کارت L4 اجرا کردیم. هر درخواست POST با کد 200 و بدنه‌ی خالی بازگشت و فرایند خوابیدن 1.9 ثانیه طول کشید. حافظه‌ی GPU از 14,861 مگابایت به 4,245 مگابایت کاهش یافت و پس از بیداری دوباره برگشت. خط لاگ Sleep mode freed 10.37 GiB memory خوابیدن سرور را تأیید می‌کند.

مشکلات شناخته‌شده‌ی حالت خواب در نسخه‌ی 0.31.0

در نسخه‌ی 0.31.0 سه مشکل در حالت خواب شناخته شده است که ما خودمان آن‌ها را بازتولید نکرده‌ایم:

  • بیدار شدن در سطح 2، مدل پیش‌نویس گمانه‌زن را دوباره بارگذاری نمی‌کند. ایشوی 52479 گزارش می‌دهد که بارگذاری مجدد وزن‌ها فقط مدل هدف (target model) را در بر می‌گیرد. در نتیجه مدل هدف همه‌ی توکن‌های پیش‌نویس را رد می‌کند و سرعت رمزگشایی (decode) تقریباً به اندازه‌ی حالت بدون گمانه‌زنی افت می‌کند. خروجی همچنان درست می‌ماند و خطایی رخ نمی‌دهد. این گزارش هنوز باز است.
  • خوابیدن در سطح 2، مقیاس‌های کالیبره‌شده‌ی KV را پاک می‌کند. در چک‌پوینت‌های compressed-tensors با کش کلید-مقدار (KV cache) از نوع FP8، اولین درخواست پس از بارگذاری مجدد وزن‌ها منجر به لاگ‌پرواب‌های نامعتبر (NaN) و توکن اولِ اشتباه می‌شد. این مورد در نسخه‌ی 0.32.0 برطرف شده است.
  • به‌روزرسانی وزن‌ها هنگام خواب، موتور را متوقف می‌کند. ایشوی 57853 گزارش می‌دهد اگر ترینر بعد از فراخوانی /sleep و پیش از /wake_up وزن‌ها را بفرستد، خطای حافظه (segfault) رخ می‌دهد. سرور API بالا می‌ماند، اما همه‌ی درخواست‌های بعدی شکست می‌خورند. این گزارش هنوز باز است.

بنابراین بعد از هر بار بیدار شدن در سطح 2، وزن‌ها را مجدداً بارگذاری کنید، کش پیشوند (prefix cache) را ریست کنید و شمارنده‌های پذیرش گمانه‌زنی را بررسی کنید. همیشه قبل از اینکه ترینر وزن‌ها را ارسال کند، سرور را بیدار کنید.

بررسی لاگ‌پرواب‌های مسیر پیش‌روی شبیه‌سازی‌شده

ترینر معمولاً لاگ‌پرواب‌هایی را که vLLM برگردانده با لاگ‌پرواب‌هایی که خودش محاسبه کرده مقایسه می‌کند. این دو به دلیل تفاوت در کرنل‌ها (kernel) هیچ‌وقت کاملاً یکسان درنمی‌آیند. اختلافی اندک و ثابت طبیعی است؛ اما اگر این اختلاف رفته‌رفته بیشتر شود، یعنی وزن‌ها به تولیدکننده نرسیده‌اند. این فاصله را در هر گام بررسی کنید. صفحه‌ی دستیابی به خروجی‌های بازتولیدپذیر توضیح می‌دهد که چرا وزن‌های یکسان هم ممکن است خروجی‌های متفاوتی تولید کنند.

قبل از محاسبه‌ی این اختلاف، بررسی کنید vLLM کدام لاگ‌پرواب را برمی‌گرداند. هنگام استفاده از top-p یا top-k، مقدار این دو عدد برای بیشترِ توکن‌ها با هم فرق دارد.

حالت لاگ‌پرواب (Logprobs mode): آپشن --logprobs-mode در سرور مشخص می‌کند vLLM برای هر توکن چه مقداری برگرداند. مقدار پیش‌فرض raw_logprobs است؛ یعنی لاگ‌پرواب روی تمام دامنه‌ی واژگان. حالت processed_logprobs لاگ‌پرواب را پس از تغییر توزیع توسط تنظیمات نمونه‌برداری گزارش می‌دهد. دو حالت دیگر یعنی raw_logits و processed_logits نیز لاجیت‌ها را برمی‌گردانند.

ما هر دو حالت لاگ‌پرواب را در تاریخ 2026-10-23 روی GPU دوم از نود L4 خود بررسی کردیم. برای این کار از مدل Qwen/Qwen3-0.6B با دقت BF16، تعداد 16 پرامپت 48 توکنی، ضریب دمای 1 و top-p برابر با 0.9 استفاده کردیم. پردازش همان توکن‌ها با کتابخانه‌ی Transformers و دقت float32 به‌عنوان خروجی مرجع در نظر گرفته شد. این GPU اشتراکی بود و فرکانس کاری ثابتی نداشت، اما کلاک اثری روی این مقادیر نمی‌گذارد.

مقدار logprob بازگشتی منهای مرجع واژگان کامل capture/gpu/out-l4/logprobs-top-p.txt
engine and mode                                  returned minus reference, median   median absolute
vLLM --logprobs-mode raw_logprobs                0.0000                             0.005
vLLM --logprobs-mode processed_logprobs          +0.0527

دو سطر vLLM. سطرهای SGLang حذف شده‌اند.

  • حالت raw_logprobs با لاگ‌پرواب کل واژگان همخوانی داشت و میانه‌ی قدر مطلق اختلاف ناشی از کرنل‌ها 0.005 بود.
  • حالت processed_logprobs به‌اندازه‌ی منفیِ لگاریتمِ جرم احتمالِ باقی‌مانده توسط top-p بیشتر بود. میانه‌ی خطای باقیمانده نسبت به این فرمول برابر با 8e-9 شد.
  • در top-p با مقدار 0.9، جرم احتمالِ باقی‌مانده برای بیشترِ توکن‌های نمونه‌برداری‌شده کمتر از 0.99 بود و میانه‌ی این جابه‌جایی حدود 0.053 به دست آمد.

بنابراین اگر ترینر شما امتیازدهی را روی کل واژگان انجام می‌دهد، مقایسه را با raw_logprobs انجام دهید. اما اگر ترینر فقط روی همان زیرمجموعه‌ی باقی‌مانده امتیاز می‌دهد، خروجی را صرفاً با processed_logprobs بسنجید.

روی سخت‌افزار ما اندازه‌گیری نشد. ما فقط همان تست سطح 1 و بررسی لاگ‌پرواب را با مدل‌های کوچک اجرا کردیم و زمان‌سنجی خواب در سطح 2 یا فرایند به‌روزرسانی وزن‌ها را ثبت نکردیم. کتابچه‌ی راهنمای Miles 101 ما همین چرخه را با SGLang به‌عنوان تولیدکننده اندازه‌گیری می‌کند.

منابع: سورس کد vLLM در نسخه‌ی v0.31.0 (فایل‌های vllm/config/model.py، vllm/config/parallel.py، vllm/entrypoints/serve/dev/sleep/api_router.py، vllm/entrypoints/serve/dev/rlhf/api_router.py، vllm/entrypoints/serve/dev/rpc/api_router.py، vllm/distributed/weight_transfer/base.py، vllm/distributed/weight_transfer/factory.py، vllm/distributed/weight_transfer/nccl_engine.py و vllm/distributed/weight_transfer/ipc_engine.py)، مستندات vLLM در نسخه‌ی v0.31.0 (بخش‌های docs/training/rlhf.md، docs/training/async_rl.md، docs/features/sleep_mode.md و docs/training/weight_transfer/)، یادداشت‌های انتشار نسخه‌های v0.31.0 و v0.32.0، ایشوهای 52479 و 57853 در vLLM، یادداشت‌های انتشار نسخه‌ی v0.32.0 (خواب سطح 2 و مقیاس‌های کالیبره‌شده‌ی KV)، فایل capture/gpu/out-l4/livecheck-2026-10-22.txt و فایل capture/gpu/out-l4/logprobs-top-p.txt.

ترجمه‌ی فارسی Use vLLM as an RL rollout engine از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما