سطح کامپایلِ پیشفرض برای بیشتر سرورها مناسبترین گزینه است؛ حالت مشتاق (eager mode) تنها چند درصد از سرعت رمزگشایی کم میکند.
راهاندازی سرور چند دقیقه طول میکشد و طبیعی است که بخواهید سریعتر انجام شود. در پایان این بخش، بهخوبی متوجه میشوید که هر سطح کامپایل و حالت eager چقدر هزینه به همراه دارد.
نتیجهی ما: روی پردازندهی گرافیکی L4 ما، حالت eager در اجرای خنکشده، حدود 2 درصد زمان پردازش هر توکن را افزایش داد. در اجرای دچار افت فرکانس (throttled)، سطح -O0 برای یک کاربر حدود 2 درصد افت ایجاد کرد و -O3 نیز کاملاً مشابه حالت پیشفرض بود.
آشنایی با سوییچها
vLLM تنظیمات کامپایل و گرافهای CUDA را با یک سطح مشخص میکند که دامنهای از -O0 تا -O3 دارد. گزینهی پیشفرض -O2 است. در صفحهی کامپایل توضیح داده شده است که هر بخش چه کاری انجام میدهد.
| تنظیمات | کامپایل | گرافهای CUDA | کاربرد |
|---|---|---|---|
-O2 (پیشفرض) |
روشن | کامل و تکهتکه (piecewise) | محیط عملیاتی |
-O3 |
مشابه -O2 در نسخهی 0.31.0 |
فعلاً مزیت اضافهای ندارد | |
-O1 |
روشن، با ادغامهای (fusion) کمتر | فقط تکهتکه | شروع سریعتر با روشن ماندن کامپایل و گرافها (توسط ما آزمایش نشده) |
-O0 |
خاموش | خاموش | شروع سریع موقع تست تغییرات جدید |
--enforce-eager |
خاموش | خاموش | اشکالزدایی کرنل، چون گرمکردن کرنل را هم نادیده میگیرد |
بررسی هزینهی زمان راهاندازی
لاگ راهاندازی، زمان دقیق هر بخش را نشان میدهد. روی سرور DGX Spark ما با مدل Qwen3-30B-A3B، ضبط هر دو گراف و فرایند کامپایل از مجموع حدود هشت دقیقه راهاندازی، نزدیک به 96 ثانیه طول کشید:
(EngineCore pid=143) INFO 10-21 10:59:45 [model_runner.py:1087] Graph capturing finished in 39 secs, took 1.17 GiB
(EngineCore pid=143) INFO 10-21 11:00:51 [model_runner.py:1087] Graph capturing finished in 38 secs, took 0.31 GiB
(EngineCore pid=143) INFO 10-21 11:00:53 [core.py:373] init engine (profile, create kv cache, warmup model) took 127.54 s (compilation: 18.67 s)دو خط اول نشاندهنده دو مرحله ضبط هستند. خط آخر کل زمان راهاندازی موتور و سهم کامپایل را نشان میدهد.
در آن راهاندازی، بارگذاری وزنها حدود 330 ثانیه زمان برد؛ یعنی بسیار بیشتر از کامپایل. راهاندازیهای بعدی میتوانند از حافظهی موقت (cache) کامپایل بخوانند، در نتیجه سهم کامپایل حتی کمتر هم میشود.
نگاهی به نتایج آزمایشها
ما حالت eager را در برابر حالت پیشفرض، روی کارت L4 با مدل Qwen/Qwen3-8B در تاریخ 2026-10-21 و در قالب نشست فرکانس کامل سنجیدیم. هر دو اجرا از استخر منابع یکسان، هفت سطح همزمانی و سه مقدار seed بهره بردند و GPU پیش از هر اجرا خنک شد.
| تعداد کاربران، نشست فرکانس کامل L4 | میانهی TPOT (پیشفرض / eager) | میانهی کلاک SM (پیشفرض / eager) |
|---|---|---|
| 1 | 60.36 / 61.07 میلیثانیه | 1,275 / 1,290 مگاهرتز |
| 8 | 65.75 / 66.98 میلیثانیه | 1,485 / 1,515 مگاهرتز |
| 32 | 101.79 / 103.11 میلیثانیه | 1,275 / 1,313 مگاهرتز |
| 64 | 129.15 / 131.42 میلیثانیه | 1,005 / 1,020 مگاهرتز |
از 1 تا 32 کاربر، دامنهی دادههای حاصل از seedها هیچ همپوشانی نداشت؛ بنابراین این اختلاف هرچند کوچک، واقعی است. روی DGX Spark ما، حالت eager بین 2 تا 6 درصد زمان پردازش هر توکن را بالا برد.
سپس در تاریخ 2026-10-22، سطوح مختلف کامپایل را در نشست افت فرکانس با 1 و 32 کاربر اجرا کردیم. حالت پیشفرض سه seed و دو سطح دیگر هرکدام دو seed داشتند. کلاک GPU برای هر سه حالت محدود شده بود: میانهی کلاک روی یک کاربر 210 مگاهرتز و روی 32 کاربر بین 450 تا 548 مگاهرتز بود.
| تعداد کاربران، نشست افت فرکانس L4 | میانهی TPOT (پیشفرض / -O0 / -O3) |
|---|---|
| 1 | 104.14 / 106.48 / 104.15 میلیثانیه |
| 32 | 142.67 / 142.04 / 143.85 میلیثانیه |
روی یک کاربر، سطح -O0 حدود 2.2 درصد کندتر عمل کرد و بازهی seedها با هم همپوشانی نداشت. اما روی 32 کاربر، نتایج هر سه سطح روی هم افتاد و همپوشانی داشت. همانطور که در کد این نسخه هم آمده، عملکرد -O3 دقیقاً مانند پیشفرض بود. با توجه به کلاک پایین، این اعداد را صرفاً مقایسهای درون یک نشست بدانید، نه سرعتی که در واقعیت خواهید دید.
تصمیمگیری
برای محیط عملیاتی، همان تنظیمات پیشفرض را نگه دارید. ضبط گرافها و کامپایل در راهاندازی سرور DGX Spark ما حدود یک دقیقه و نیم طول کشید و وجود کش، راهاندازیهای بعدی را سریعتر میکند.
وقتی تغییری را تست میکنید و ریاستارتهای پیاپی دارید، از -O0 استفاده کنید. این حالت، کامپایل و ضبط گراف را نادیده میگیرد و در آزمایش ما تنها حدود 2 درصد از سرعت رمزگشایی کاست. از --enforce-eager فقط برای اشکالزدایی کرنل استفاده کنید؛ چون مرحلهی گرمکردن را هم رد میکند و باعث میشود اولین درخواستها بعد از بالا آمدن سرور کند باشند.
منابع: capture/gpu/summary/l4.json (شامل load.vllm-b، load.vllm-eager، load.vllm-fast-b، load.vllm-O0، load.vllm-O3)، فایل capture/gpu/summary/gb10.json (شامل load.vllm، load.vllm-eager)، فایل لاگ capture/gpu/out-gb10/server-load-vllm.log، مستندات vLLM در نسخهی 0.31.0 (مسیر docs/design/optimization_levels.md) و کد منبع vLLM در نسخهی 0.31.0 (مسیر vllm/config/model.py).