سؤال مصاحبه

حالت خواب، بیداری و به‌روزرسانی وزن‌ها در یک حلقه‌ی یادگیری تقویتی

Sleep, wake and weight updates for an RL loop

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

بخش آموزش یادگیری تقویتی (RL trainer) پردازنده‌های گرافیکی خود را با سرور vLLM که مسیرهای پیش‌روی شبیه‌سازی‌شده (rollouts) را تولید می‌کند، به اشتراک می‌گذارد. بین گام‌های rollout، ترینر به حافظه‌ی GPU نیاز دارد و پس از هر گام نیز سرور نیازمند وزن‌های جدید است. vLLM برای این چرخه چه ابزارهایی در اختیارتان می‌گذارد و در نسخه‌ی پین‌شده چه اشکالاتی ممکن است پیش بیاید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

vLLM برای این چرخه، مسیرهایی در حالت توسعه (development-mode routes) فراهم کرده است: حالت خواب (sleep mode) با فراخوانی /sleep حافظه‌ی GPU را آزاد می‌کند و با /wake_up آن را پس می‌گیرد؛ مسیرهای /pause و /resume فرایند تولید را متوقف کرده و دوباره راه می‌اندازند؛ و انتقال وزن‌ها از طریق /init_weight_transfer_engine، /start_weight_update و /finish_weight_update انجام می‌شود که بر بستر NCCL بین چند GPU یا از طریق هندل‌های حافظه‌ی CUDA روی یک سیستم کار می‌کند. در سطح 1 (level 1)، حالت خواب وزن‌ها را نگه می‌دارد؛ در سطح 2 وزن‌ها را هم تخلیه می‌کند که برای گامی که ترینر در هر صورت وزن‌های جدید ارسال می‌کند مناسب است. در نسخه‌ی 0.31.0 سه مشکل شناخته‌شده وجود دارد: بیدار شدن در سطح 2 مدل پیش‌نویس گمانه‌زن (speculative draft) را دوباره بارگذاری نمی‌کند؛ خوابیدن در سطح 2 مقیاس‌های کالیبره‌شده‌ی KV را پاک می‌کند؛ و به‌روزرسانی وزن‌ها حین خواب بودن سرور، موتور را متوقف می‌سازد. بنابراین همیشه اول سرور را بیدار کنید، بارگذاری مجدد را انجام دهید، کش پیشوند (prefix cache) را ریست کرده و شمارنده‌های پذیرش را بررسی کنید.

پاسخ کامل

حلقه‌ی کاری

هر گام در یادگیری تقویتی دو بخش دارد. بخش اول (rollout)، پاسخ‌ها را با وزن‌های فعلی تولید می‌کند. در بخش دوم (آموزش)، تابع زیان (loss) محاسبه شده و وزن‌ها به‌روزرسانی می‌شوند؛ سپس موتور تولید متن پیش از اجرای rollout بعدی به این وزن‌های تازه نیاز دارد. اگر از یک مجموعه GPU مشترک استفاده شود، این دو بخش باید نوبتی از همان حافظه استفاده کنند؛ بنابراین موتور تولید متن باید حین آموزش حافظه‌اش را آزاد کرده و پس از اتمام آن، حافظه را دوباره در اختیار بگیرد.

بخش‌های مختلف

تمام این مسیرها تنها در صورتی وجود دارند که سرور با VLLM_SERVER_DEV_MODE=1 اجرا شده باشد. این مسیرها حافظه را آزاد می‌کنند، وزن‌ها را جایگزین می‌سازند و متدهایی را روی تمام ورکرها اجرا می‌کنند؛ به همین دلیل هرگز نباید سروری در این وضعیت را بیرون از شبکه‌ی ترینر در دسترس قرار دهید. هنگام آزمایش دستی، آن را فقط روی لوکال‌هاست (localhost) مقید (bind) کنید.

  • حالت خواب. سرور را با --enable-sleep-mode اجرا کنید. مسیر /sleep?level=1 کش کلید-مقدار (KV cache) و بقیه‌ی حافظه را آزاد کرده اما وزن‌ها را نگه می‌دارد؛ در سطح 2 وزن‌ها نیز حذف می‌شوند. گزینه‌ی --sleep-preserve-parameter-names وزن‌های فریز‌شده را روی GPU نگه می‌دارد تا در هر گام جابه‌جا نشوند. مسیر /is_sleeping وضعیت فعلی را گزارش می‌دهد.
  • توقف موقت و ادامه‌ی کار. مسیر /pause از شروع تولیدهای جدید جلوگیری می‌کند و می‌تواند درخواست‌های در حال اجرا را متوقف کند، منتظر پایان آن‌ها بماند یا آن‌ها را نگه دارد؛ مسیر /resume دوباره کار را از سر می‌گیرد.
  • به‌روزرسانی وزن‌ها. ترینر یک انتقال وزن را شروع می‌کند، start را فراخوانی کرده، وزن‌ها را می‌فرستد، finish را صدا می‌زند و در نهایت نسخه‌ی وزن‌ها را با /update_weight_version ثبت می‌کند تا rolloutهای بعدی نشانه‌گذاری شوند.
  • فراخوانی‌های اشتراکی (Collective calls). مسیر /collective_rpc متدی را روی تک‌تک ورکرها اجرا می‌کند تا پیکربندی‌هایی که vLLM به‌صورت پیش‌فرض پوشش نمی‌دهد پیاده‌سازی شوند.
  • راه‌اندازی بیرونی. با بک‌اند راه‌انداز بیرونی (external launcher backend)، ابزاری مانند torchrun ورکرهای vLLM را داخل فرایندهای خودِ ترینر اجرا می‌کند.

نتایج آزمایش عملی

یک بار تست حالت خوابِ سطح 1 با مدل Qwen3-0.6B روی یک کارت L4: هر درخواست POST کد 200 با بدنه‌ی خالی برگرداند؛ رفتن به حالت خواب 1.9 ثانیه طول کشید؛ حافظه‌ی مصرفی GPU از 14,861 به 4,245 مبی‌بایت رسید و پس از بیداری دوباره برگشت؛ و لاگ سرور عبارت Sleep mode freed 10.37 GiB memory را ثبت کرد. این تنها سنجش زمانی ثبت‌شده در مستندات است؛ خواب سطح 2 و به‌روزرسانی وزن‌ها زمان‌سنجی نشده‌اند.

اشکالات احتمالی در نسخه‌ی 0.31.0

  • بیدار شدن در سطح 2 پیش‌نویس گمانه‌زن را دوباره بارگذاری نمی‌کند. بارگذاری مجدد فقط شامل مدل هدف (target model) می‌شود، بنابراین مدل هدف تک‌تک توکن‌های پیش‌نویس را رد می‌کند و سرعت رمزگشایی (decode) تقریباً تا حد حالت بدون حدس و گمان افت می‌کند. خروجی کماکان صحیح می‌ماند و خطایی رخ نمی‌دهد. این مشکل هنوز باز است.
  • خواب سطح 2 در بعضی از چک‌پوینت‌هایی که کش FP8 دارند، مقیاس‌های کالیبره‌شده‌ی KV را پاک می‌کند. اولین درخواست پس از بارگذاری مجدد مقادیر NaN برای logprobها برگرداند و توکن اول را اشتباه تولید کرد. این مشکل در نسخه‌ی بعدی برطرف شده است.
  • به‌روزرسانی وزن حین حالت خواب باعث خطای دسترسی به حافظه (segfault) در موتور می‌شود. سرور API بالا می‌ماند، اما تمام درخواست‌های بعدی با شکست مواجه می‌شوند. این مشکل هنوز باز است.

بنابراین بعد از هر بار بیدار شدن در سطح 2، وزن‌ها را دوباره لود کنید، کش پیشوند را ریست کرده و شمارنده‌های پذیرش گمانه‌زنی را بررسی کنید. در نسخه‌ی 0.31.0 بارگذاری مجدد نمی‌تواند مقیاس‌های پاک‌شده‌ی KV را برگرداند؛ اما نسخه‌ی 0.32.0 این مورد را اصلاح می‌کند. همیشه پیش از آنکه ترینر وزن‌ها را بفرستد، ابتدا سرور را بیدار کنید.

اختلاف لاگ‌پروپ (logprob gap)

ترینر مقادیر لاگ‌پروپ دریافتی از سرور را با مقادیری که خودش محاسبه کرده مقایسه می‌کند. این مقادیر هرگز دقیقاً یکسان نخواهند بود، چون کرنل‌ها با هم فرق دارند؛ وجود اختلافی اندک و ثابت طبیعی است، اما اختلافی که مدام بیشتر شود نشان می‌دهد وزن‌ها به موتور تولید نرسیده‌اند. ابتدا بررسی کنید سرور کدام مقدار را برمی‌گرداند. مقدار پیش‌فرض، یعنی --logprobs-mode raw_logprobs، لاگ‌پروپ را روی کل واژگان (vocabulary) حساب می‌کند؛ در حالی که processed_logprobs آن را پس از اعمال تنظیمات نمونه‌برداری و تغییر توزیع به دست می‌آورد. با top-p برابر با 0.9، حالت خام با مرجعِ کل واژگان میانه‌ی قدر مطلق اختلافی برابر با 0.005 داشت؛ اما حالت پردازش‌شده به اندازه‌ی منفیِ لگاریتم جرم احتمالِ حفظ‌شده بالاتر بود (انحراف میانه‌ای حدود 0.053). دقت کنید که حالت انتخابی با روش امتیازدهی توکن‌ها در ترینر مطابقت داشته باشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: تفاوت بین دو سطح خواب چیست؟ پاسخ مورد انتظار: سطح 1 کش کلید-مقدار و سایر بخش‌های حافظه را آزاد می‌کند ولی وزن‌ها را نگه می‌دارد؛ سطح 2 وزن‌ها را هم دور می‌ریزد، که برای گامی که در آن در هر حال وزن‌های جدید دریافت می‌شوند مناسب است و هزینه‌ی بارگذاری مجدد دارد.
  • سطح 3: پس از بیدار شدن در سطح 2، خروجی درست است اما رمزگشایی به همان کندیِ حالت بدون گمانه‌زنی انجام می‌شود. چرا؟ پاسخ مورد انتظار: بارگذاری مجددِ وزن‌ها فقط مدل هدف را پوشش می‌دهد، بنابراین پیش‌نویس دوباره بارگذاری نمی‌شود و مدل هدف تمام توکن‌های پیش‌نویس را رد می‌کند؛ خطایی نمایش داده نمی‌شود و شمارنده‌های پذیرش این موضوع را مشخص می‌کنند.
  • سطح 3: لاگ‌پروپ‌های ترینر روی تک‌تک توکن‌ها با مقادیر سرور فرق دارد. آیا این یک باگ است؟ پاسخ مورد انتظار: اختلافی اندک و ثابت طبیعی است چون کرنل‌ها متفاوت‌اند (میانه‌ی قدر مطلق اختلاف 0.005 در لاگ‌پروپ‌های خام)؛ اختلافی که مدام بیشتر شود یعنی وزن‌ها به مقصد نرسیده‌اند، و یک اختلاف ثابت نزدیک به منفی لگاریتمِ جرمِ حفظ‌شده نشان می‌دهد سرور لاگ‌پروپ‌های پردازش‌شده تحت top-p را برگردانده، در حالی که ترینر به کل واژگان امتیاز داده است.
  • سطح 4: مراحل یک تکرار RL را حول این مسیرها مرتب کنید. پاسخ مورد انتظار: متوقف کردن موقت یا تخلیه‌ی درخواست‌های در حال تولید، رفتن به حالت خواب، اجرای آموزش، بیدار کردن سرور، سپس شروع و پایان به‌روزرسانی وزن‌ها و ثبت نسخه، ریست کردن کش پیشوند، بارگذاری مجدد پیش‌نویس در صورت فعال بودن گمانه‌زنی، بررسی شمارنده‌های پذیرش، از سرگیری فرایند تولید؛ هرگز حین خواب بودن سرور وزن ارسال نکنید، چون موتور از کار می‌افتد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مسیرهای مربوط به خواب و وزن‌ها را روی پورت عمومی باز بگذارید.» این مسیرها فقط در حالت توسعه وجود دارند و حافظه را آزاد کرده، وزن‌ها را تغییر داده و روی تمام ورکرها متد اجرا می‌کنند؛ آن‌ها را در شبکه‌ی ترینر نگه دارید و موقع تست دستی روی لوکال‌هاست بایند کنید.
  • «برای صرفه‌جویی در زمان، وزن‌های جدید را حین خواب بودن سرور ارسال کنید.» در نسخه‌ی 0.31.0 این کار باعث خطای segfault در موتور می‌شود؛ سرور API بالا می‌ماند ولی تمام درخواست‌های بعدی شکست می‌خورند، پس همیشه پیش از ارسال وزن‌ها توسط ترینر، سرور را بیدار کنید.
  • «لاگ‌پروپ‌های سرور و ترینر باید دقیقاً یکی باشند.» کرنل‌ها متفاوت هستند، بنابراین اختلافی اندک و ثابت کاملاً عادی است؛ آن را در هر گام پایش کنید و اختلاف فزاینده را نشانه‌ای از نرسیدن وزن‌ها به موتور تولید بدانید.
  • «بیدار شدن در سطح 2 سرور را به همان وضعیت پیش از خواب برمی‌گرداند.» این کار فقط وزن‌های مدل هدف را دوباره بارگذاری می‌کند؛ پیش‌نویس گمانه‌زن دوباره لود نمی‌شود و مقیاس‌های کالیبره‌شده‌ی KV هم در برخی چک‌پوینت‌ها پاک شده‌اند؛ بنابراین بعد از هر بار بیداری در سطح 2 وزن‌ها را دوباره لود کنید، کش را ریست کرده و میزان پذیرش را بخوانید، و در نظر داشته باشید که در نسخه‌ی 0.31.0 بارگذاری مجدد مقیاس‌ها را برنمی‌گرداند.

کجای دوره آموزش داده می‌شود

بخش استفاده از vLLM به‌عنوان موتور rollout در یادگیری تقویتی فهرست این مسیرها، بررسی حالت خواب و مشکلات شناخته‌شده را پوشش می‌دهد.