بخش 4.4 · قابلیت‌های شتاب‌دهنده و سرعت

زمان‌بندی ناهمگام را روشن بگذارید

Leave async scheduling on

فهرست مطالب
  1. سازوکار زمان‌بندی ناهمگام
  2. شرایط فعال بودن آن
  3. میزان تفاوت میان دو اجرای یکسان
  4. هزینه‌ی خاموش کردن آن
  5. تصمیم‌گیری

زمان‌بندی ناهمگام (Async scheduling) برای بیشتر مدل‌های تولید متن به‌طور پیش‌فرض روشن است، اما چند پیکربندی خاص بدون هیچ خطایی آن را غیرفعال می‌کنند.

درباره‌ی زمان‌بندی ناهمگام خوانده‌اید و می‌خواهید بدانید باید آن را دستی تنظیم کنید یا نه. با پایان این بخش، می‌توانید بررسی کنید که آیا سرورتان با این قابلیت اجرا می‌شود یا نه، و کدام تنظیمات آن را غیرفعال می‌کنند.

نتیجه‌ی ما: روی یک پردازنده‌ی گرافیکی L4 با کلاک محدودشده، خاموش کردن زمان‌بندی ناهمگام سرعت تولید هر توکن (Token) را برای یک کاربر حدود 3 درصد کُندتر کرد. البته این نتیجه را قطعی ندانید؛ چون کلاک پردازنده پایین بود و فقط دو سید (Seed) آزمایشی داشتیم.

سازوکار زمان‌بندی ناهمگام

بدون زمان‌بندی ناهمگام، هر مرحله به‌ترتیب اجرا می‌شود: اسکژولر (Scheduler) یک دسته (Batch) را انتخاب می‌کند، GPU آن را اجرا می‌کند و اسکژولر پیش از انتخاب دسته‌ی بعدی، نتیجه را می‌خواند. تا وقتی اسکژولر کار می‌کند، GPU منتظر می‌ماند.

اما با زمان‌بندی ناهمگام، اسکژولر دسته‌ی بعدی را درست زمانی انتخاب می‌کند که GPU هنوز مشغول اجرای دسته‌ی فعلی است. اسکژولر توکن‌هایی را که هنوز نمونه‌برداری نشده‌اند به‌چشم متغیر نگه‌دارنده (Placeholder) می‌بیند تا درخواستی را فراتر از سقف توکن‌های مجازش زمان‌بندی نکند. به این ترتیب، GPU زمان کمتری بین مراحل بیکار می‌ماند. در صفحه‌ی تغییرات Model Runner V2 توضیح داده شده است که چرا اجراکننده‌ی (Runner) جدید مدل این کار را ممکن می‌کند.

شرایط فعال بودن آن

در vLLM نسخه‌ی 0.31.0، این تنظیم سه حالت دارد: فلگ --async-scheduling آن را روشن می‌کند، --no-async-scheduling خاموشش می‌کند، و در صورت مشخص نکردن هیچ فلگی، خود vLLM تصمیم می‌گیرد. اگر فلگی نگذارید، vLLM آن را روشن می‌گذارد؛ مگر اینکه یکی از شرایط زیر (در میان موارد دیگر) رخ دهد:

  • مدل از نوع ادغام‌کننده (Pooling) باشد؛ مانند مدل‌های امبدینگ (Embedding).
  • روش حدس توکن (Speculation method) یکی از موارد n-gram، suffix، Medusa یا MLP speculator باشد. روش‌های EAGLE، MTP، DFlash و DSpark، روش GPU n-gram و استفاده از مدل پیش‌نویس (Draft Model) آن را روشن نگه می‌دارند.
  • موازی‌سازی پایپ‌لاین (Pipeline Parallelism) فعال باشد و اجراکننده‌ی قدیمی مدل کار کند.
  • مجری (Executor) از آن پشتیبانی نکند.

در این حالت‌ها، vLLM زمان‌بندی ناهمگام را خاموش می‌کند. برای بیشتر این موارد هشداری در لاگ نوشته می‌شود، اما برای مدل‌های ادغام‌کننده فقط یک خط لاگ دیباگ می‌آید. سرور بدون اشکال اجرا می‌شود، بنابراین این تغییر به‌راحتی نادیده می‌ماند. پس از اضافه کردن یک روش حدس توکن یا تغییر ساختار موازی‌سازی، حتماً لاگ راه‌اندازی را بخوانید.

میزان تفاوت میان دو اجرای یکسان

ما در تاریخ 2026-10-21 تست بارگذاری L4 را با مدل Qwen/Qwen3-8B در نشست با کلاک کامل دو بار تکرار کردیم. یک بار هیچ فلگی مشخص نکردیم و بار دیگر فلگ --async-scheduling را گذاشتیم. برای این مدل و بدون روش‌های حدس توکن، این فلگ همان حالتی را تنظیم می‌کند که پیش‌فرض اعمال کرده است؛ پس هر دو اجرا در واقع یک تنظیم یکسان داشتند.

تفاوت دو اجرا در بیشترین حالت 1.8 درصد در خروجی و 0.8 درصد در زمان تولید هر توکن بود. بازه‌ی سیدهای آن‌ها در تمام سطوح همروندی (Concurrency) همپوشانی (Overlap) داشت. بنابراین روی این کارت، اختلاف چند درصدی میان دو کانفیگ ناشی از نوسان میان اجراهاست، مگر اینکه بازه‌ی سیدها کاملاً از هم جدا شود. در یادداشت‌های آزمایشگاه، جدول کامل زیر کانفیگ‌های vllm-b و vllm-async در دسترس است.

هزینه‌ی خاموش کردن آن

ما گزینه‌ی --no-async-scheduling را در مقایسه با حالت پیش‌فرض در نشست GPU اشتراکی روی نود L4 خود در تاریخ 2026-10-22 با مدل Qwen/Qwen3-8B سنجیدیم. آن GPU استخری از 2,928 توکن در اختیار داشت، بنابراین آزمایش را با 1 و 4 کاربر انجام دادیم.

تعداد کاربر، نشست GPU اشتراکی L4 میانه‌ی TPOT، روشن / خاموش توکن بر ثانیه‌ی خروجی، روشن / خاموش میانه‌ی کلاک SM، روشن / خاموش سیدها، روشن / خاموش
1 241.7 / 249.6 میلی‌ثانیه 3.98 / 3.87 375 / 368 مگاهرتز 2 / 2
4 272.6 / 277.2 میلی‌ثانیه 13.02 / 12.85 428 / 450 مگاهرتز 2 / 1

در حالت یک کاربر، با خاموش بودن زمان‌بندی ناهمگام، زمان تولید هر توکن 3.3 درصد افزایش یافت و بازه‌ی سیدها همپوشانی نداشتند. این فاصله از نوسان 0.8 درصدیِ دو اجرای یکسان بزرگ‌تر است؛ هرچند ما آن تغییرات را روی GPU دیگر با کلاک کامل اندازه گرفته بودیم. در حالت چهار کاربر نیز این زمان 1.7 درصد افزایش یافت که فقط حاصل یک سید بود.

GPU در فرکانس 368 تا 450 مگاهرتز کار می‌کرد که بسیار کمتر از حداکثر کلاک کاری‌اش است. در آزمایش تک‌کاربر با زمان‌بندی ناهمگام خاموش، کلاک پردازنده 2 درصد پایین‌تر بود که تقریباً با اندازه و شدت این اثر هم‌خوانی دارد. بنابراین این نتیجه را قطعی در نظر نگیرید. بهبود حاصل در چنین اندازه‌های دسته‌ای اندک است و ما آن را با کلاک کامل یا در همروندی بالا نسنجیدیم.

تصمیم‌گیری

هیچ فلگی تنظیم نکنید و بگذارید vLLM خودش تصمیم بگیرد. اگر روش حدس توکن یا موازی‌سازی پایپ‌لاین اضافه می‌کنید، لاگ را برای بررسی هشدار بخوانید. اگر هشدار ظاهر شد، زمان تولید هر توکن را با آن قابلیت و بدون آن بسنجید؛ چون با فعال کردن آن قابلیت، زمان‌بندی ناهمگام را هم از دست می‌دهید.

منابع: capture/gpu/summary/l4.json (load.vllm-b، load.vllm-async، load.vllm)، capture/gpu/summary/l4-gpu1.json (load.vllm-fast-b، load.vllm-no-async)، سورس‌کد vLLM در v0.31.0 (vllm/config/scheduler.py، vllm/config/vllm.py، vllm/v1/core/sched/async_scheduler.py)، مستندات vLLM در v0.31.0 (docs/design/model_runner_v2.md).

ترجمه‌ی فارسی Leave async scheduling on از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما