بخش 4.3 · قابلیت‌های شتاب‌دهنده و سرعت

گراف‌های CUDA و کامپایل را روشن نگه دارید

Keep CUDA graphs and compile on

فهرست مطالب
  1. آشنایی با سوییچ‌ها
  2. بررسی هزینه‌ی زمان راه‌اندازی
  3. نگاهی به نتایج آزمایش‌ها
  4. تصمیم‌گیری

سطح کامپایلِ پیش‌فرض برای بیشتر سرورها مناسب‌ترین گزینه است؛ حالت مشتاق (eager mode) تنها چند درصد از سرعت رمزگشایی کم می‌کند.

راه‌اندازی سرور چند دقیقه طول می‌کشد و طبیعی است که بخواهید سریع‌تر انجام شود. در پایان این بخش، به‌خوبی متوجه می‌شوید که هر سطح کامپایل و حالت eager چقدر هزینه به همراه دارد.

نتیجه‌ی ما: روی پردازنده‌ی گرافیکی L4 ما، حالت eager در اجرای خنک‌شده، حدود 2 درصد زمان پردازش هر توکن را افزایش داد. در اجرای دچار افت فرکانس (throttled)، سطح -O0 برای یک کاربر حدود 2 درصد افت ایجاد کرد و -O3 نیز کاملاً مشابه حالت پیش‌فرض بود.

آشنایی با سوییچ‌ها

vLLM تنظیمات کامپایل و گراف‌های CUDA را با یک سطح مشخص می‌کند که دامنه‌ای از -O0 تا -O3 دارد. گزینه‌ی پیش‌فرض -O2 است. در صفحه‌ی کامپایل توضیح داده شده است که هر بخش چه کاری انجام می‌دهد.

تنظیمات کامپایل گراف‌های CUDA کاربرد
-O2 (پیش‌فرض) روشن کامل و تکه‌تکه (piecewise) محیط عملیاتی
-O3 مشابه -O2 در نسخه‌ی 0.31.0 فعلاً مزیت اضافه‌ای ندارد
-O1 روشن، با ادغام‌های (fusion) کمتر فقط تکه‌تکه شروع سریع‌تر با روشن ماندن کامپایل و گراف‌ها (توسط ما آزمایش نشده)
-O0 خاموش خاموش شروع سریع موقع تست تغییرات جدید
--enforce-eager خاموش خاموش اشکال‌زدایی کرنل، چون گرم‌کردن کرنل را هم نادیده می‌گیرد

بررسی هزینه‌ی زمان راه‌اندازی

لاگ راه‌اندازی، زمان دقیق هر بخش را نشان می‌دهد. روی سرور DGX Spark ما با مدل Qwen3-30B-A3B، ضبط هر دو گراف و فرایند کامپایل از مجموع حدود هشت دقیقه راه‌اندازی، نزدیک به 96 ثانیه طول کشید:

زمان ضبط گراف و کامپایل هنگام راه‌اندازی capture/gpu/out-gb10/server-load-vllm.log
(EngineCore pid=143) INFO 10-21 10:59:45 [model_runner.py:1087] Graph capturing finished in 39 secs, took 1.17 GiB
(EngineCore pid=143) INFO 10-21 11:00:51 [model_runner.py:1087] Graph capturing finished in 38 secs, took 0.31 GiB
(EngineCore pid=143) INFO 10-21 11:00:53 [core.py:373] init engine (profile, create kv cache, warmup model) took 127.54 s (compilation: 18.67 s)

دو خط اول نشان‌دهنده دو مرحله ضبط هستند. خط آخر کل زمان راه‌اندازی موتور و سهم کامپایل را نشان می‌دهد.

در آن راه‌اندازی، بارگذاری وزن‌ها حدود 330 ثانیه زمان برد؛ یعنی بسیار بیشتر از کامپایل. راه‌اندازی‌های بعدی می‌توانند از حافظه‌ی موقت (cache) کامپایل بخوانند، در نتیجه سهم کامپایل حتی کمتر هم می‌شود.

نگاهی به نتایج آزمایش‌ها

ما حالت eager را در برابر حالت پیش‌فرض، روی کارت L4 با مدل Qwen/Qwen3-8B در تاریخ 2026-10-21 و در قالب نشست فرکانس کامل سنجیدیم. هر دو اجرا از استخر منابع یکسان، هفت سطح هم‌زمانی و سه مقدار seed بهره بردند و GPU پیش از هر اجرا خنک شد.

حالت eager در مقایسه با پیش‌فرضروی L4 ما، حالت eager در تمام سطوح همزمانی بین 1.2 تا 2.3 درصد به ازای هر توکن کندتر بود.
حالت Eager روی L4 بین 1.2 تا 2.3 درصد به زمان هر توکن اضافه کرد میانه زمان به ازای هر توکن خروجی در برابر کاربران همزمان روی پردازنده NVIDIA L4 با Qwen3-8B، سه seed در هر نقطه، هر دو اجرا در تاریخ 2026-10-21. حالت Eager در تمام سطوح همزمانی بین 1.2 تا 2.3 درصد کندتر است؛ برای مثال 61.1 در برابر 60.4 میلی‌ثانیه برای یک کاربر و 131.4 در برابر 129.2 میلی‌ثانیه برای 64 کاربر. 50 80 110 140 1 2 4 8 16 32 64 کاربران همزمان میانه میلی‌ثانیه بر توکن پیش‌فرض، -O2 --enforce-eager
باندها بازه کمترین و بیشترین مقدار از بین سه اجرا را پوشش می‌دهند. دو خط بسیار نزدیک به هم هستند زیرا گام رمزگشایی در مدل 8B معطل حافظه است، نه فراخوانی‌های کرنل. برگرفته از capture/gpu/summary/l4.json.
تعداد کاربران، نشست فرکانس کامل L4 میانه‌ی TPOT (پیش‌فرض / eager) میانه‌ی کلاک SM (پیش‌فرض / eager)
1 60.36 / 61.07 میلی‌ثانیه 1,275 / 1,290 مگاهرتز
8 65.75 / 66.98 میلی‌ثانیه 1,485 / 1,515 مگاهرتز
32 101.79 / 103.11 میلی‌ثانیه 1,275 / 1,313 مگاهرتز
64 129.15 / 131.42 میلی‌ثانیه 1,005 / 1,020 مگاهرتز

از 1 تا 32 کاربر، دامنه‌ی داده‌های حاصل از seedها هیچ همپوشانی نداشت؛ بنابراین این اختلاف هرچند کوچک، واقعی است. روی DGX Spark ما، حالت eager بین 2 تا 6 درصد زمان پردازش هر توکن را بالا برد.

سپس در تاریخ 2026-10-22، سطوح مختلف کامپایل را در نشست افت فرکانس با 1 و 32 کاربر اجرا کردیم. حالت پیش‌فرض سه seed و دو سطح دیگر هرکدام دو seed داشتند. کلاک GPU برای هر سه حالت محدود شده بود: میانه‌ی کلاک روی یک کاربر 210 مگاهرتز و روی 32 کاربر بین 450 تا 548 مگاهرتز بود.

تعداد کاربران، نشست افت فرکانس L4 میانه‌ی TPOT (پیش‌فرض / -O0 / -O3)
1 104.14 / 106.48 / 104.15 میلی‌ثانیه
32 142.67 / 142.04 / 143.85 میلی‌ثانیه

روی یک کاربر، سطح -O0 حدود 2.2 درصد کندتر عمل کرد و بازه‌ی seedها با هم همپوشانی نداشت. اما روی 32 کاربر، نتایج هر سه سطح روی هم افتاد و همپوشانی داشت. همان‌طور که در کد این نسخه هم آمده، عملکرد -O3 دقیقاً مانند پیش‌فرض بود. با توجه به کلاک پایین، این اعداد را صرفاً مقایسه‌ای درون یک نشست بدانید، نه سرعتی که در واقعیت خواهید دید.

تصمیم‌گیری

برای محیط عملیاتی، همان تنظیمات پیش‌فرض را نگه دارید. ضبط گراف‌ها و کامپایل در راه‌اندازی سرور DGX Spark ما حدود یک دقیقه و نیم طول کشید و وجود کش، راه‌اندازی‌های بعدی را سریع‌تر می‌کند.

وقتی تغییری را تست می‌کنید و ری‌استارت‌های پیاپی دارید، از -O0 استفاده کنید. این حالت، کامپایل و ضبط گراف را نادیده می‌گیرد و در آزمایش ما تنها حدود 2 درصد از سرعت رمزگشایی کاست. از --enforce-eager فقط برای اشکال‌زدایی کرنل استفاده کنید؛ چون مرحله‌ی گرم‌کردن را هم رد می‌کند و باعث می‌شود اولین درخواست‌ها بعد از بالا آمدن سرور کند باشند.

منابع: capture/gpu/summary/l4.json (شامل load.vllm-b،‏ load.vllm-eager،‏ load.vllm-fast-b،‏ load.vllm-O0،‏ load.vllm-O3)، فایل capture/gpu/summary/gb10.json (شامل load.vllm،‏ load.vllm-eager)، فایل لاگ capture/gpu/out-gb10/server-load-vllm.log، مستندات vLLM در نسخه‌ی 0.31.0 (مسیر docs/design/optimization_levels.md) و کد منبع vLLM در نسخه‌ی 0.31.0 (مسیر vllm/config/model.py).

ترجمه‌ی فارسی Keep CUDA graphs and compile on از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما