بخش 5.3 · سنجش و اندازه‌گیری

انتخاب میان vLLM و SGLang

Decide between vLLM and SGLang

فهرست مطالب
  1. مشخصات مواردی که مقایسه کردیم
  2. بررسی نتایج بر اساس الگوی ترافیک شما
  3. بررسی اعداد و ارقام پشت هر سناریو
  4. تصمیم‌گیری

در تعداد کاربران ثابت، نرخ پردازش هر دو موتور روی ماشین‌های ما برابر بود و این الگوی ترافیک بود که تاخیر را تعیین کرد.

دنبال انتخاب یک موتور سرویس‌دهی (serving engine) هستید و داده‌های عددی می‌خواهید، نه اعتبار و شهرت نام‌ها. با خواندن این بخش، می‌توانید الگوی ترافیک خود را با یکی از آزمون‌های مقایسه‌ای ما تطبیق دهید و ببینید این نتایج تا چه حد برای سناریوی شما کاربرد دارند.

نتیجه‌ی آزمون ما: روی کارت L4، نرخ پردازش تا 32 کاربر هم‌زمان با اختلافی کمتر از 3 درصد پایاپای بود. روی DGX Spark ما، بدترین فاصله‌ی زمانی بین دو توکن متوالی در vLLM، از 32 کاربر به بعد حدوداً دو برابر SGLang شد.

مشخصات مواردی که مقایسه کردیم

ما vLLM نسخه‌ی 0.31.0 و SGLang نسخه‌ی 0.5.22 را با تنظیمات پیش‌فرض‌شان روی دو ماشین اجرا کردیم:

  • یک کارت NVIDIA L4 با مدل Qwen/Qwen3-8B در قالب BF16، در نشست با فرکانس کامل پردازنده. هر دو استخر حافظه حدود 24,100 توکن ظرفیت داشتند. آزمون‌های بار پردازشی در تاریخ 2026-10-17 و آزمون‌های مربوط به نرخ و امواج ترافیکی در 2026-10-18 اجرا شدند.
  • یک سیستم DGX Spark با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 در قالب BF16. استخر حافظه برای vLLM ظرفیت 234,960 توکن و برای SGLang بین 233,303 تا 251,910 توکن داشت. هر تست SGLang در همان روزِ تستِ vLLM متناظر با آن، یعنی 2026-10-21، اجرا شد.

هر نقطه از داده‌ها میانه‌ی سه seed مختلف است که با یک کلاینت بنچمارک واحد برای هر دو موتور ثبت شده‌اند. این سناریو حاصل تست دو مدل روی دو کارت مجزاست؛ بنابراین به این ارقام به چشم راهنمایی برای آنچه باید بسنجید نگاه کنید، نه یک قانون قطعی.

بررسی نتایج بر اساس الگوی ترافیک شما

الگوی ترافیک شما آنچه اندازه‌گیری کردیم انتخاب مناسب
کاربران هم‌زمان پرشمار، نزدیک به سقف استخر حافظه روی L4، نرخ پردازش تا 32 کاربر در بازه‌ی 3 درصد پایاپای بود. vLLM اولین توکن را زودتر تحویل داد، اما SGLang استریم یکنواخت‌تری ایجاد کرد. vLLM برای توکن اول، SGLang برای استریم یکنواخت
نرخ درخواست ثابت فراتر از ظرفیت سرویس‌دهی GPU در نرخ 4 درخواست در ثانیه، vLLM روی L4 حدود 11 درصد خروجی بیشتری تولید کرد vLLM
پرامپت‌هایی با طول‌های متغیر، 16 کاربر هم‌زمان شاخص P99 ITL در vLLM روی هر دو ماشین کمتر بود vLLM به صورت پیش‌فرض
پرامپت‌هایی با طول یکسان، 16 کاربر هم‌زمان شاخص P99 ITL در SGLang روی هر دو ماشین کمتر بود SGLang
پرامپت‌های طولانی با طول‌های متغیر در نرخ ثابت، روی DGX Spark در 0.5 درخواست در ثانیه، P99 ITL برای vLLM کمتر بود و در 2 درخواست برای SGLang با نرخ ترافیک خودتان بسنجید
پیشوندهای تکراری متناسب با ظرفیت استخر حافظه کش هر دو موتور توکن اول را با اختلافی در حدود 100 میلی‌ثانیه نسبت به یکدیگر تحویل دادند هر دو مناسبند
مدل ساختار ترکیبی متخصصان (Mixture-of-Experts) روی DGX Spark، کاربران پرشمار نرخ پردازش پایاپای بود. P99 ITL در vLLM از 32 کاربر به بعد حدوداً دو برابر SGLang شد. SGLang برای استریم یکنواخت

بررسی اعداد و ارقام پشت هر سناریو

کاربران پرشمار هم‌زمان، کارت L4. در 32 کاربر، vLLM به نرخ 273.9 توکن بر ثانیه و SGLang به 271.3 رسید. میانه‌ی زمان توکن اول در vLLM برابر 1,813 میلی‌ثانیه و در SGLang برابر 2,871 میلی‌ثانیه بود. تاخیر بین توکن‌ها (ITL) در صدک P99 برای vLLM به 619 میلی‌ثانیه و برای SGLang به 102 میلی‌ثانیه رسید. در 64 کاربر، خروجی 6 درصد اختلاف پیدا کرد. فرکانس میانه‌ی پردازنده در اجرای vLLM کمتر بود (1,013 در برابر 1,215 مگاهرتز)؛ بنابراین ما این اختلاف را به حساب نمی‌آوریم.

در این اجراها حافظه‌ی کش پیشوند (prefix cache) ریست نشده بود. دوباره آن‌ها را با ریست کش و در فرکانس 900 مگاهرتز در تاریخ 2026-10-23 تکرار کردیم و همان روند حفظ شد. در 32 کاربر، میانه‌ی زمان توکن اول برای vLLM بین 2.0 تا 2.1 ثانیه و برای SGLang برابر 3.2 ثانیه بود. شاخص P99 ITL برای vLLM بین 668 تا 964 میلی‌ثانیه و برای SGLang بین 105 تا 106 میلی‌ثانیه ثبت شد. در 16 کاربر، این رقم 522 در برابر 82 میلی‌ثانیه بود.

نرخ درخواست ثابت، کارت L4. در نرخ 4 درخواست در ثانیه، vLLM نرخ 286.6 توکن بر ثانیه و SGLang رقم 257.5 را ثبت کردند. بازه‌ی مقادیر مربوط به seedها هیچ همپوشانی نداشتند. در 8 درخواست در ثانیه، بازه‌ها همپوشانی داشتند. اجراهای مربوط به 16 درخواست در ثانیه زیر حداقل فرکانس ساعت مجاز ما قرار گرفتند (پایین‌ترین فرکانسی که برای یک اجرای معتبر می‌پذیریم)، در نتیجه آن‌ها را کنار گذاشتیم.

طول‌های متغیر و یکسان، روی هر دو ماشین. حجم کاری امواج (waves) ما 64 پرامپت را میان 16 کاربر ارسال کرد؛ با یک نسبت طولی که میزان تغییرات طول پرامپت و خروجی را مشخص می‌کند. نحوه‌ی محاسبه‌ی آن در یادداشت‌های آزمایشگاه آمده است. با طول‌های متغیر روی L4، شاخص P99 ITL برای vLLM برابر 191 میلی‌ثانیه و برای SGLang برابر 363 میلی‌ثانیه بود. با طول‌های یکسان، این رقم برای vLLM برابر 502 میلی‌ثانیه و برای SGLang برابر 81 میلی‌ثانیه شد. ماشین DGX Spark نیز همین الگو را تکرار کرد: 188 در برابر 198 میلی‌ثانیه با طول‌های متغیر، و 394 در برابر 159 میلی‌ثانیه با طول‌های یکسان.

مدل ترکیبی متخصصان، روی DGX Spark. در 64 کاربر، vLLM نرخ 239.3 توکن بر ثانیه و SGLang رقم 245.1 را دادند که در دامنه‌ی پراکندگی seedها قرار می‌گیرد. شاخص P99 ITL برای vLLM برابر 528 میلی‌ثانیه و برای SGLang برابر 271 میلی‌ثانیه بود، و در 32 کاربر به 478 در برابر 220 میلی‌ثانیه رسید. بازه‌ی داده‌های seed هیچ همپوشانی نداشتند. میانه‌ی زمان توکن اول نیز روی vLLM در تمام بارهای کاری از 2 کاربر به بالا طولانی‌تر بود.

پرامپت‌های طولانی در نرخ پایین، روی DGX Spark. با پرامپت‌هایی حدود 1,000 تا 4,000 توکن در نرخ 0.5 درخواست در ثانیه، vLLM تاخیر P99 ITL کمتری داشت: 571 در برابر 922 میلی‌ثانیه. در نرخ‌های 1 و 2 درخواست در ثانیه، این شاخص برای SGLang کمتر بود. برای این آزمون، استخر حافظه‌ی SGLang حدود 7 درصد بزرگ‌تر از vLLM بود؛ بنابراین این سطر را با احتیاط بررسی کنید.

نرخ پردازش روی L4روی L4 ما با Qwen3-8B، دو موتور vLLM و SGLang تا 32 کاربر خروجی یکسانی با اختلاف زیر 3 درصد تولید کردند.
روی L4 هر دو موتور تا 32 کاربر توکن‌های یکسانی در ثانیه تولید کردند توکن‌های خروجی در ثانیه بر حسب کاربران هم‌زمان روی NVIDIA L4 با Qwen3-8B، استخر KV یکسان 24,096 توکنی، سه سید در هر نقطه. دو خط تا 32 کاربر در محدوده 3 درصدی یکدیگرند. در 64 کاربر، SGLang مقدار 256.6 و vLLM مقدار 241.4 توکن در ثانیه تولید کردند. 0 100 200 300 1 2 4 8 16 32 64 کاربران هم‌زمان توکن‌های خروجی در ثانیه vLLM 0.31.0 SGLang 0.5.22
هر دو سرور استخر KV یکسانی داشتند. محدوده‌ها سه بار اجرا را پوشش می‌دهند. برگرفته از capture/gpu/summary/l4.json.
بدترین فاصله بین‌توکنی روی GB10روی DGX Spark ما، صدک 99 فاصله بین‌توکنی در vLLM در 32 کاربر بیش از دو برابر SGLang بود.
روی GB10 بدترین فاصله بین‌توکنی vLLM از 32 کاربر به بعد دو برابر شد صدک 99 تاخیر بین‌توکنی بر حسب کاربران هم‌زمان روی DGX Spark با Qwen3-30B-A3B، سه سید در هر نقطه. موتورها تا 8 کاربر هم‌گام هستند. در 32 کاربر vLLM مقدار 478 میلی‌ثانیه و SGLang مقدار 220 میلی‌ثانیه را ثبت می‌کنند، و در 64 کاربر 528 میلی‌ثانیه در برابر 271 میلی‌ثانیه. 0 200 400 600 1 2 4 8 16 32 64 کاربران هم‌زمان تاخیر بین‌توکنی P99، میلی‌ثانیه 478 220 vLLM 0.31.0 SGLang 0.5.22
خط بالاتر نشان‌دهنده جریان با نوسان و ناپایداری بیشتر است. محدوده‌ها سه بار اجرا را پوشش می‌دهند. برگرفته از capture/gpu/summary/gb10.json.

تصمیم‌گیری

ابتدا مواردی را اولویت دهید که با تنظیم دستی (tuning) تغییر نمی‌کنند:

  1. پشتیبانی از مدل. مطمئن شوید مدل و شیوه‌ی کوانتیزه‌سازی آن روی موتور انتخابی و همان نسخه‌ای که فیکس کرده‌اید، پشتیبانی می‌شود.
  2. زمان راه‌اندازی (Startup time). روی DGX Spark ما، بارگذاری 57 گیبی‌بایت وزن‌های مدل در vLLM حدود 330 ثانیه طول کشید.
  3. سخت‌افزار شما. نتیجه‌ی حاصل از L4 یا GB10 را نمی‌توان بدون آزمون عملی به پردازنده‌های گرافیکی دیتاسنتر تعمیم داد.

سپس آزمون پیمایشی (sweep) را با ترافیک واقعی خودتان روی هر دو موتور اجرا کنید. برای این کار، از یک کلاینت بنچمارک واحد و استخرهای حافظه‌ی هم‌اندازه استفاده کنید.

منابع: capture/gpu/summary/l4.json (تست‌های بار، نرخ، امواج و پیشوند برای vllm و sglang)، capture/gpu/summary/gb10.json (تست‌های بار، متغیر و امواج برای vllm و sglang)، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/load-flushed-vs-unflushed.txt.

ترجمه‌ی فارسی Decide between vLLM and SGLang از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما