در تعداد کاربران ثابت، نرخ پردازش هر دو موتور روی ماشینهای ما برابر بود و این الگوی ترافیک بود که تاخیر را تعیین کرد.
دنبال انتخاب یک موتور سرویسدهی (serving engine) هستید و دادههای عددی میخواهید، نه اعتبار و شهرت نامها. با خواندن این بخش، میتوانید الگوی ترافیک خود را با یکی از آزمونهای مقایسهای ما تطبیق دهید و ببینید این نتایج تا چه حد برای سناریوی شما کاربرد دارند.
نتیجهی آزمون ما: روی کارت L4، نرخ پردازش تا 32 کاربر همزمان با اختلافی کمتر از 3 درصد پایاپای بود. روی DGX Spark ما، بدترین فاصلهی زمانی بین دو توکن متوالی در vLLM، از 32 کاربر به بعد حدوداً دو برابر SGLang شد.
مشخصات مواردی که مقایسه کردیم
ما vLLM نسخهی 0.31.0 و SGLang نسخهی 0.5.22 را با تنظیمات پیشفرضشان روی دو ماشین اجرا کردیم:
- یک کارت NVIDIA L4 با مدل
Qwen/Qwen3-8Bدر قالب BF16، در نشست با فرکانس کامل پردازنده. هر دو استخر حافظه حدود 24,100 توکن ظرفیت داشتند. آزمونهای بار پردازشی در تاریخ 2026-10-17 و آزمونهای مربوط به نرخ و امواج ترافیکی در 2026-10-18 اجرا شدند. - یک سیستم DGX Spark با مدل
Qwen/Qwen3-30B-A3B-Instruct-2507در قالب BF16. استخر حافظه برای vLLM ظرفیت 234,960 توکن و برای SGLang بین 233,303 تا 251,910 توکن داشت. هر تست SGLang در همان روزِ تستِ vLLM متناظر با آن، یعنی 2026-10-21، اجرا شد.
هر نقطه از دادهها میانهی سه seed مختلف است که با یک کلاینت بنچمارک واحد برای هر دو موتور ثبت شدهاند. این سناریو حاصل تست دو مدل روی دو کارت مجزاست؛ بنابراین به این ارقام به چشم راهنمایی برای آنچه باید بسنجید نگاه کنید، نه یک قانون قطعی.
بررسی نتایج بر اساس الگوی ترافیک شما
| الگوی ترافیک شما | آنچه اندازهگیری کردیم | انتخاب مناسب |
|---|---|---|
| کاربران همزمان پرشمار، نزدیک به سقف استخر حافظه | روی L4، نرخ پردازش تا 32 کاربر در بازهی 3 درصد پایاپای بود. vLLM اولین توکن را زودتر تحویل داد، اما SGLang استریم یکنواختتری ایجاد کرد. | vLLM برای توکن اول، SGLang برای استریم یکنواخت |
| نرخ درخواست ثابت فراتر از ظرفیت سرویسدهی GPU | در نرخ 4 درخواست در ثانیه، vLLM روی L4 حدود 11 درصد خروجی بیشتری تولید کرد | vLLM |
| پرامپتهایی با طولهای متغیر، 16 کاربر همزمان | شاخص P99 ITL در vLLM روی هر دو ماشین کمتر بود | vLLM به صورت پیشفرض |
| پرامپتهایی با طول یکسان، 16 کاربر همزمان | شاخص P99 ITL در SGLang روی هر دو ماشین کمتر بود | SGLang |
| پرامپتهای طولانی با طولهای متغیر در نرخ ثابت، روی DGX Spark | در 0.5 درخواست در ثانیه، P99 ITL برای vLLM کمتر بود و در 2 درخواست برای SGLang | با نرخ ترافیک خودتان بسنجید |
| پیشوندهای تکراری متناسب با ظرفیت استخر حافظه | کش هر دو موتور توکن اول را با اختلافی در حدود 100 میلیثانیه نسبت به یکدیگر تحویل دادند | هر دو مناسبند |
| مدل ساختار ترکیبی متخصصان (Mixture-of-Experts) روی DGX Spark، کاربران پرشمار | نرخ پردازش پایاپای بود. P99 ITL در vLLM از 32 کاربر به بعد حدوداً دو برابر SGLang شد. | SGLang برای استریم یکنواخت |
بررسی اعداد و ارقام پشت هر سناریو
کاربران پرشمار همزمان، کارت L4. در 32 کاربر، vLLM به نرخ 273.9 توکن بر ثانیه و SGLang به 271.3 رسید. میانهی زمان توکن اول در vLLM برابر 1,813 میلیثانیه و در SGLang برابر 2,871 میلیثانیه بود. تاخیر بین توکنها (ITL) در صدک P99 برای vLLM به 619 میلیثانیه و برای SGLang به 102 میلیثانیه رسید. در 64 کاربر، خروجی 6 درصد اختلاف پیدا کرد. فرکانس میانهی پردازنده در اجرای vLLM کمتر بود (1,013 در برابر 1,215 مگاهرتز)؛ بنابراین ما این اختلاف را به حساب نمیآوریم.
در این اجراها حافظهی کش پیشوند (prefix cache) ریست نشده بود. دوباره آنها را با ریست کش و در فرکانس 900 مگاهرتز در تاریخ 2026-10-23 تکرار کردیم و همان روند حفظ شد. در 32 کاربر، میانهی زمان توکن اول برای vLLM بین 2.0 تا 2.1 ثانیه و برای SGLang برابر 3.2 ثانیه بود. شاخص P99 ITL برای vLLM بین 668 تا 964 میلیثانیه و برای SGLang بین 105 تا 106 میلیثانیه ثبت شد. در 16 کاربر، این رقم 522 در برابر 82 میلیثانیه بود.
نرخ درخواست ثابت، کارت L4. در نرخ 4 درخواست در ثانیه، vLLM نرخ 286.6 توکن بر ثانیه و SGLang رقم 257.5 را ثبت کردند. بازهی مقادیر مربوط به seedها هیچ همپوشانی نداشتند. در 8 درخواست در ثانیه، بازهها همپوشانی داشتند. اجراهای مربوط به 16 درخواست در ثانیه زیر حداقل فرکانس ساعت مجاز ما قرار گرفتند (پایینترین فرکانسی که برای یک اجرای معتبر میپذیریم)، در نتیجه آنها را کنار گذاشتیم.
طولهای متغیر و یکسان، روی هر دو ماشین. حجم کاری امواج (waves) ما 64 پرامپت را میان 16 کاربر ارسال کرد؛ با یک نسبت طولی که میزان تغییرات طول پرامپت و خروجی را مشخص میکند. نحوهی محاسبهی آن در یادداشتهای آزمایشگاه آمده است. با طولهای متغیر روی L4، شاخص P99 ITL برای vLLM برابر 191 میلیثانیه و برای SGLang برابر 363 میلیثانیه بود. با طولهای یکسان، این رقم برای vLLM برابر 502 میلیثانیه و برای SGLang برابر 81 میلیثانیه شد. ماشین DGX Spark نیز همین الگو را تکرار کرد: 188 در برابر 198 میلیثانیه با طولهای متغیر، و 394 در برابر 159 میلیثانیه با طولهای یکسان.
مدل ترکیبی متخصصان، روی DGX Spark. در 64 کاربر، vLLM نرخ 239.3 توکن بر ثانیه و SGLang رقم 245.1 را دادند که در دامنهی پراکندگی seedها قرار میگیرد. شاخص P99 ITL برای vLLM برابر 528 میلیثانیه و برای SGLang برابر 271 میلیثانیه بود، و در 32 کاربر به 478 در برابر 220 میلیثانیه رسید. بازهی دادههای seed هیچ همپوشانی نداشتند. میانهی زمان توکن اول نیز روی vLLM در تمام بارهای کاری از 2 کاربر به بالا طولانیتر بود.
پرامپتهای طولانی در نرخ پایین، روی DGX Spark. با پرامپتهایی حدود 1,000 تا 4,000 توکن در نرخ 0.5 درخواست در ثانیه، vLLM تاخیر P99 ITL کمتری داشت: 571 در برابر 922 میلیثانیه. در نرخهای 1 و 2 درخواست در ثانیه، این شاخص برای SGLang کمتر بود. برای این آزمون، استخر حافظهی SGLang حدود 7 درصد بزرگتر از vLLM بود؛ بنابراین این سطر را با احتیاط بررسی کنید.
تصمیمگیری
ابتدا مواردی را اولویت دهید که با تنظیم دستی (tuning) تغییر نمیکنند:
- پشتیبانی از مدل. مطمئن شوید مدل و شیوهی کوانتیزهسازی آن روی موتور انتخابی و همان نسخهای که فیکس کردهاید، پشتیبانی میشود.
- زمان راهاندازی (Startup time). روی DGX Spark ما، بارگذاری 57 گیبیبایت وزنهای مدل در vLLM حدود 330 ثانیه طول کشید.
- سختافزار شما. نتیجهی حاصل از L4 یا GB10 را نمیتوان بدون آزمون عملی به پردازندههای گرافیکی دیتاسنتر تعمیم داد.
سپس آزمون پیمایشی (sweep) را با ترافیک واقعی خودتان روی هر دو موتور اجرا کنید. برای این کار، از یک کلاینت بنچمارک واحد و استخرهای حافظهی هماندازه استفاده کنید.
منابع: capture/gpu/summary/l4.json (تستهای بار، نرخ، امواج و پیشوند برای vllm و sglang)، capture/gpu/summary/gb10.json (تستهای بار، متغیر و امواج برای vllm و sglang)، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/load-flushed-vs-unflushed.txt.