بخش 4.2 · سرعت و پایداری

مدیریت پاسخ‌های طولانی با مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص

Handle long responses with partial rollout

فهرست مطالب
  1. ابتدا پاسخ‌های طولانی را اندازه بگیرید
  2. انتخاب میان افزایش سقف مجاز و مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص
  3. هزینه‌ی ادامه‌دادن پاسخ‌ها
  4. دیکودینگ حدسی؛ ابزاری که اندازه‌گیری نکرده‌ایم

مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص (Partial rollout) مانع از آن می‌شود که کندترین پاسخ‌ها، زمان اجرای تمام گام‌ها را تعیین کنند.

یک گامِ مسیر پیش‌روی شبیه‌سازی‌شده (rollout) زمانی تمام می‌شود که آخرین پاسخ آن به پایان برسد. اگر چند پاسخ به سقف طول مجاز برسند، کل گام معطل آن‌ها می‌ماند و موتور در این مدت با ظرفیت بلااستفاده کار می‌کند.

با به پایان رساندن این بخش، می‌توانید هزینه‌ای را که پاسخ‌های طولانی به شما تحمیل می‌کنند بسنجید و نگذارید سرعت تک‌تک گام‌ها را پایین بیاورند.

ما مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص را روی GB10 خود اجرا نکرده‌ایم. بخش اندازه‌گیری‌شده در این صفحه، سهم پاسخ‌های قطع‌شده در اجراهای خط مبنای (baseline) ما است.

ابتدا پاسخ‌های طولانی را اندازه بگیرید

شاخص rollout/truncated سهم پاسخ‌هایی را گزارش می‌کند که به سقف مجازِ طول پاسخ، یعنی --rollout-max-response-len، برخورد کرده‌اند. در سه سید (seed) خط مبنای ما، این سقف روی 1,024 توکن تنظیم شده بود. در 8 گام اول آن‌ها، بین 0.30 تا 0.34 از پاسخ‌ها به سقف مجاز رسیدند. در 8 گام پایانی، مدل پاسخ‌های کوتاه‌تری یاد گرفته بود و این نسبت به 0.08 تا 0.12 کاهش یافت. بخش 5.3 اعداد مربوط به هر سید را در اختیارتان می‌گذارد.

بالا بودن سهم پاسخ‌های قطع‌شده دو هزینه دارد: پاسخِ قطع‌شده معمولاً پیش از رسیدن به پاسخ نهایی متوقف می‌شود، بنابراین پاداش ریاضیاتی نمره‌ی 0 به آن می‌دهد؛ علاوه بر این، کل گام معطل طولانی‌ترین پاسخ‌ها می‌ماند.

انتخاب میان افزایش سقف مجاز و مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص

اگر پاسخ‌های قطع‌شده تا نزدیکی جواب درست پیش رفته‌اند، مقدار --rollout-max-response-len را بیشتر کنید. به این ترتیب، مدل بابت پاسخ‌های طولانی اما درست امتیاز می‌گیرد، هرچند زمان اجرای هر گام طولانی‌تر می‌شود.

اما اگر فقط چند پاسخ بسیار طولانی دارند زمان گام را بالا می‌برند، به‌جای این کار از مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص استفاده کنید:

-e MILES_EXTRA_ARGS="--partial-rollout --over-sampling-batch-size 48 --dynamic-sampling-filter-path miles.rollout.filter_hub.common_filters.apply_reward_nonzero_std_filter"

این فیلتر همان موردی است که در بخش 3.2 معرفی شد.

در روش مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص، گام فعلی گروه‌هایی را تحویل می‌گیرد که زودتر تمام شده‌اند. گروه‌هایی که کارشان تمام نشده به بافر داده برمی‌گردند و گام‌های بعدی، ادامه‌ی آن‌ها را از همان توکن‌هایی که تا این لحظه تولید کرده‌اند پیش می‌برند. موتور دیگر آن توکن‌ها را دوباره از اول تولید نمی‌کند.

مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص در کنار نمونه‌برداری بیش‌ازحد (over-sampling) کار می‌کند. آرگومان --over-sampling-batch-size اندازه‌ی هر دسته‌ی جدید از پرامپت‌ها را مشخص می‌کند؛ پرامپت‌هایی که وقتی تعداد گروه‌های تمام‌شده در مسیر پیش‌روی شبیه‌سازی‌شده کم بیاید، فرایند تولیدشان شروع می‌شود. چنین اجرایی را حتماً همگام نگه دارید. فلگ --fully-async و سرور نشست (session)، هیچ‌کدام آرگومان --partial-rollout را قبول نمی‌کنند. توابع تولید چندنوبتی (multi-turn) و ایجنت نیز از آن پشتیبانی نمی‌کنند.

هزینه‌ی ادامه‌دادن پاسخ‌ها

پاسخی که ادامه‌اش در گام‌های بعدی تولید می‌شود، با یک نسخه از وزن‌ها شروع شده و با وزن‌های بعدی به پایان می‌رسد. در نتیجه بخشی از توکن‌های آن حاصل وزن‌های قدیمی‌تر هستند. پس از فعال کردن مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص، همان‌طور که در بخش 5.2 دیدید، حواستان به فاصله‌ی میان ترینر و موتور باشد.

دیکودینگ حدسی؛ ابزاری که اندازه‌گیری نکرده‌ایم

دیکودینگ حدسی (Speculative decoding) روش دیگری برای کوتاه‌تر کردن زمان مسیر پیش‌روی شبیه‌سازی‌شده است. یک پیش‌نویس کم‌هزینه چند توکن بعدی را حدس می‌زند و موتور همه‌ی آن‌ها را در یک گذر رو به جلو (forward pass) بررسی و تأیید می‌کند. ابزار Miles فلگ‌های حدسی SGLang را با پیشوند --sglang- به آن منتقل می‌کند. برای مدلی با لایه‌های MTP اختصاصی (مثل GLM-4.7 یا DeepSeek-V3)، مستندات Miles این فلگ‌ها را پیشنهاد می‌دهد:

--sglang-speculative-algorithm EAGLE --sglang-speculative-num-steps 3 --sglang-speculative-eagle-topk 1 --sglang-speculative-num-draft-tokens 4

برای شروع، دو نوع پیش‌نویس وجود دارد:

  • پیش‌نویس MTP. فلگ‌های بالا از لایه‌های MTP خود مدل به‌عنوان پیش‌نویس استفاده می‌کنند. مدلی که فاقد این لایه‌ها باشد، به یک مدل پیش‌نویس (draft model) جداگانه نیاز دارد که با --sglang-speculative-draft-model-path مشخص می‌شود. با تغییر پالیسی حین آموزش، مدل پیش‌نویس عقب می‌افتد و توکن‌های کمتری از آن تأیید می‌شوند. ابزار Miles می‌تواند لایه‌های MTP را همگام با پالیسی آموزش دهد: --mtp-num-layers 1 --enable-mtp-training، که این قابلیت فقط روی ترینر Megatron در دسترس است.
  • پیش‌نویس n-gram. آرگومان --sglang-speculative-algorithm NGRAM نیازی به مدل پیش‌نویس ندارد. این روش حدس‌های خود را از روی توکن‌هایی می‌زند که موتور قبلاً تولید کرده است. SGLang فقط روی CUDA از آن پشتیبانی می‌کند و این کار اسکژولر همپوشانی (overlap scheduler) را غیرفعال می‌سازد.

مستندات Miles توصیه می‌کند اگر گلوگاه سیستم در مرحله‌ی مسیر پیش‌روی شبیه‌سازی‌شده است، برای مدل‌های متراکم (dense) زیر حدود 13B پارامتر از دیکودینگ حدسی استفاده نکنید؛ در این مدل‌ها، هزینه‌ی اعتبارسنجی توکن‌ها می‌تواند بیشتر از صرفه‌جویی حاصل از پیش‌نویس باشد. مدل Qwen3-0.6B ما در همین محدوده قرار دارد و ما آن را نسنجیده‌ایم. اگر مایل به امتحان آن هستید، زمان مسیر پیش‌روی شبیه‌سازی‌شده و میزان فاصله را در گام‌ها و سید یکسان با حالت قبل مقایسه کنید.

منابع: capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.plain-48 و runs.plain-48-s2 و runs.plain-48-s3)؛ آرگومان‌های مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص و نمونه‌برداری بیش‌ازحد در Miles و تابع تولید تک‌نوبتی در کامیت main 08752a12؛ مستندات دیکودینگ حدسی Miles و ارسال آرگومان‌های SGLang در کامیت main 08752a12؛ مستندات دیکودینگ حدسی SGLang.

ترجمه‌ی فارسی Handle long responses with partial rollout از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما