بخش 5.3 · اندازه‌گیری عملکرد سرور

خواندن بنچمارک‌های دیگران درباره‌ی SGLang

Reading other people's SGLang benchmarks

فهرست مطالب
  1. پنج ورودی پشت هر نتیجه
  2. شش پرسش پیش از اعتماد به یک عدد
  3. مواردی که آزمون‌های مستقل بر سر آن‌ها اتفاق نظر دارند
  4. ناپایداری روی سخت‌افزارهای جدید
  5. یافته‌های ما روی سیستم‌های خودمان
  6. مقایسه‌ی SGLang در برابر vLLM روی همان کارت L4
  7. مقایسه‌ی همان جفت روی پرامپت‌های اشتراکی
  8. مقایسه‌ی همان جفت در نرخ ورودی ثابت
  9. مقایسه‌ی همان جفت روی ترافیک موجی
  10. دیدگاه ما
  11. مرور رخدادها

نتیجه‌ی منتشرشده برای SGLang به نسخه، بار کاری (workload)، بودجه‌ی حافظه، سقف گراف و کرنل‌ها بستگی دارد؛ بنابراین پیش از خواندن اعداد، این پنج مورد را بررسی کنید.

پرتکرارترین عددی که درباره‌ی SGLang در وب می‌بینید «29 درصد سریع‌تر از vLLM» است: 16,215 توکن بر ثانیه در برابر 12,553. این عدد از یک آزمون آفلاین شرکت تحلیلی AIMultiple می‌آید که در تاریخ 25-01-2026 به‌روزرسانی شده است {{field AIMultiple 2026-01}}. در آن صفحه، نسخه‌ی SGLang برابر با «v0.2.3» و نسخه‌ی vLLM برابر با 0.11.0 ثبت شده؛ یعنی فاصله‌ای در حدود دو سال انتشار بین این دو نسخه وجود دارد. دست‌کم پنج پست بعدی، همین جفت عدد را تکرار کرده‌اند؛ برخی حتی به نام شرکت‌های دیگر. هیچ‌کدام از آن‌ها آزمون را دوباره اجرا نکردند.

وقتی این بخش را تمام کنید، می‌توانید هر بنچمارک منتشرشده از SGLang را به پنج ورودی‌اش تجزیه کنید. آن‌وقت تشخیص می‌دهید که آیا آن نتیجه به کار شما می‌آید یا نه، و سازوکار پشت آن را نام می‌برید. همچنین درمی‌یابید آزمون‌های مستقل در چه مواردی هم‌نظرند؛ فهرستی که بسیار کوتاه‌تر از ادعای تیترهاست.

پنج ورودی پشت هر نتیجه

نتیجه‌ی هر بنچمارک تابعی از پنج ورودی است. بیشتر اختلاف‌نظرها میان گزارش‌های منتشرشده به یکی از این موارد برمی‌گردد:

  1. الگوی بار کاری. طول ورودی، طول خروجی، همروندی (concurrency) و سهم بخش‌های تکراری پرامپت (prompt). کش رادیکس (radix cache) تنها زمانی سودمند است که پیشوندها تکرار شوند. ورودی‌های طولانی به مرحله‌ی پیش‌پرکنی (prefill) فشار می‌آورند و همروندی بالا، اسکژولر (scheduler) و استخر KV را تحت فشار می‌گذارد.
  2. بودجه‌ی حافظه. اگر مقدار --mem-fraction-static را مشخص نکنید، SGLang آن را بر اساس حافظه‌ی GPU محاسبه می‌کند. vLLM از --gpu-memory-utilization 0.9 استفاده می‌کند. آزمونی که یکی از این پارامترها را تنظیم کند و دیگری را دست‌نخورده بگذارد، دو استخر KV با ابعاد متفاوت را با هم مقایسه کرده است.
  3. سقف گراف CUDA. مرحله‌ی رمزگشایی (decode) تنها تا یک سقف مشخص از اندازه‌ی دسته (batch size)، گراف ثبت‌شده‌ی CUDA را بازپخش (replay) می‌کند. بالاتر از این سقف، رمزگشایی به‌صورت eager و با فراخوانی تک‌تک کرنل‌ها اجرا می‌شود. بخش 4.1 این سازوکار را توضیح می‌دهد.
  4. مسیر کرنل. بک‌اند اتنشن (attention)، کرنل MoE و فرمت کوانتیزه‌سازی (quantization). سرنوشت چندین گزارش در ادامه، فقط با وجود یا عدم وجود یک کرنل برای یک GPU خاص تعیین شده است.
  5. نسخه و تاریخ. یک تحلیل‌گر، مدل یکسانی را روی یک پردازنده‌ی گرافیکی AMD در فاصله‌ی 26 روز تست کرد و ارقام 20.4 و سپس 2,256 توکن بر ثانیه به ازای هر GPU را به دست آورد.

کد ورودی سوم را هنگام راه‌اندازی بر اساس حافظه‌ی GPU تنظیم می‌کند. یک کارت 80 گیگابایتی H100 با اندازه‌ی موازی‌سازی تنسور (tensor parallel) کمتر از 4 را در نظر بگیرید: سقف پیش‌فرض گراف رمزگشایی 256 و اندازه‌ی پیش‌پرکنی تکه‌ای (chunked prefill) برابر با 8,192 است. روی یک کارت 32 گیگابایتی این حد 48 است، که در تاریخ 04-09-2026 از مقدار 24 افزایش یافت. کامنت کد در آن تغییر می‌گوید سقف قبلی باعث می‌شد نرخ پردازش (throughput) در همروندی‌های بالا بسیار عقب‌تر از vLLM بیفتد {{code}}.

شش پرسش پیش از اعتماد به یک عدد

شش پرسش برای سنجش بنچ‌مارک‌های منتشرشده‌ی SGLangنتیجه‌ای که در پاسخ به نسخه یا حجم کاری رد شود، هرچقدر هم ارقام بزرگی داشته باشد، هیچ اطلاعاتی درباره سرور شما نمی‌دهد.
شش پرسش برای سنجش بنچ‌مارک‌های منتشرشده‌ی SGLang شش پرسش در یک ستون: ذکر نسخه، تطابق بار کاری با شما، یکسان بودن بودجه حافظه، همزمانی زیر سقف گراف، تطبیق پرچم‌ها بین موتورها، و مشخص بودن حامی مالی. پاسخ «خیر» به هر پرسش مستقیماً نشان می‌دهد که چه نتیجه محدودی می‌توان گرفت. شش پاسخ «بله» به تست سازوکار روی سرور خودتان منتهی می‌شود. 1 · نسخه SGLang ذکر شده؟ no نسخه نامشخص: فقط در حد ادعا 2 · بار کاری مطابق شماست؟ no توصیف یک بار کاری دیگر 3 · بودجه حافظه یکسان بود؟ no مقایسه دو اندازه استخر KV 4 · همزمانی زیر سقف گراف بود؟ no سنجش در حالت رمزگشایی eager 5 · پرچم‌ها بین موتورها تطبیق یافت؟ no خطای تنظیم پرچم نتیجه را عوض می‌کند 6 · حامی مالی مشخص شده؟ no صرفاً ادعای همان طرف محسوب می‌شود بله سازوکار را روی سرور خود تست کنید
از بالا به پایین بخوانید. هر پرسش یا به سؤال بعدی می‌رسد یا به آنچه نتیجه همچنان می‌تواند نشان دهد (با رنگ سرخابی) ختم می‌شود. برگرفته از گزارش‌های میدانی ذکرشده در این بخش.
  1. آیا نسخه‌ی SGLang قید شده است؟ بدون نسخه، نتیجه وضعیت یک بیلد نامشخص را نشان می‌دهد.
  2. آیا بار کاری با سناریوی شما همخوانی دارد؟ پرامپت‌های کاملاً یکتا هیچ نکته‌ای درباره‌ی عملکرد یک سرور چت با پرامپت سیستم طولانی و مشترک به شما نمی‌گویند.
  3. آیا بودجه‌ی حافظه بین دو موتور یکسان‌سازی شده است؟
  4. آیا میزان همروندی از سقف گراف رمزگشایی فراتر رفته است؟ اگر بله، آزمون در حال سنجش رمزگشایی eager بوده است.
  5. آیا فلگ‌ها به‌درستی متناظر شده‌اند؟ یک مفهوم یکسان در هر موتور نام فلگ متفاوتی دارد.
  6. چه کسی هزینه‌ی آزمون را پرداخت کرده است؟ ارائه‌دهنده‌ی ابری GPU، سازنده‌ی سخت‌افزار، شرکت رقیب یا تیم توسعه‌ی SGLang؛ هر کدام دلیلی برای ترجیح دادن یک نتیجه‌ی خاص دارند.

مواردی که آزمون‌های مستقل بر سر آن‌ها اتفاق نظر دارند

این گزارش‌ها از افرادی خارج از تیم SGLang می‌آیند. در هر ردیف، سازوکار مرتبط از بخش‌های پیشین ذکر شده است تا علت آن نتیجه روشن شود.

یافته گزارش‌های میدانی سازوکار
مدل‌های متراکم (Dense) با پرامپت‌های یکتا: نتیجه برابر است Spheron با SGLang 0.5.9، مدل Llama 3.3 70B با فرمت FP8 روی یک کارت H100: نرخ 1,920 در برابر 1,850 توکن بر ثانیه در 50 کاربر. Modal: حدود 17 پرس‌وجو بر ثانیه برای هر دو روی 8 کارت H100. Varad More: مدل‌های 7B تا 9B با اختلافی کمتر از 3 درصد روی کارت A10G هر دو موتور اکنون از خانواده‌های کرنل یکسان، حافظه‌ی KV صفحه‌بندی‌شده و دسته‌بندی پیوسته (continuous batching) استفاده می‌کنند
پیشوندهای تکراری: SGLang برنده است، اما کمتر از شایعات رایج Steve Rawlinson با SGLang 0.5.6 روی 2 کارت H100: زمان اولین توکن 583 میلی‌ثانیه در برابر 2,141 میلی‌ثانیه در 1 کاربر. RunPod: نرخ 35.0 در برابر 32.8 توکن بر ثانیه برای هر استریم با کانتکست کش‌شده‌ی 7k. Varad More: برتری SGLang در 10 مدل از 16 مدل به میزان 20 تا 40 میلی‌ثانیه کش رادیکس، بخش 3.3 را ببینید
پرامپت‌های طولانی: اولین توکن کندتر، توکن‌های بعدی سریع‌تر Jarvislabs با پرامپت‌های 16k توکنی روی یک H100 در 60 کاربر: اولین توکن 10,802 میلی‌ثانیه در برابر 1,874 میلی‌ثانیه، زمان هر توکن 63 تا 81 میلی‌ثانیه در برابر 97 تا 120 میلی‌ثانیه پیش‌پرکنی تکه‌ای با اندازه‌ی 8,192 توکن پرامپت طولانی را خرد می‌کند و مانع از اختلال در رمزگشایی‌های در حال اجرا می‌شود
بار کاری بسیار سنگین با تنظیمات پیش‌فرض: تاخیر رمزگشایی به شدت افت می‌کند Jarvislabs بدون سقف همروندی: میانگین ITL برابر با 100.92 میلی‌ثانیه در برابر 28.84 میلی‌ثانیه احتمالاً عبور رمزگشایی از سقف گراف 256. این فرضیه‌ی (hypothesis) ماست، نه ادعای آن‌ها
مدل‌های MoE هم‌رده با DeepSeek روی کلاسترهای بزرگ GPU: مرجع اصلی SGLang است SemiAnalysis در پروژه‌ی InferenceMAX موتور پیش‌فرض DeepSeek R1 را SGLang انتخاب کرد. نتیجه‌ی حسابرسی‌شده‌ی MLPerf v6.1 برای Crusoe از SGLang 0.5.15.post1 روی 512 پردازنده‌ی گرافیکی MI355X استفاده کرد موازی‌سازی داده‌ای اتنشن و موازی‌سازی کارشناسان، بخش 6.2 را ببینید
دیکودینگ حدسی (Speculative Decoding): روی پردازنده‌های گرافیکی بزرگ مفید و روی کارت‌های کوچک مخرب است InferenceX با مدل GLM-5 و MTP روی B200 در 4 کاربر: کاهش زمان هر توکن از 18.43 به 9.92 میلی‌ثانیه. Varad More روی یک کارت A10G: افت سرعت بین 7 تا 28 درصد نسبت هزینه‌ی پیش‌نویس (draft) به نرخ پذیرش، بخش 4.4 را ببینید

لینک منابع: Spheron {{field Spheron 2026}}، Modal {{field Modal 2025-06}}، Varad More {{field Varad-More 2026-04}}، Steve Rawlinson {{field Rawlinson 2025-12}}، RunPod {{field RunPod 2025-06}}، Jarvislabs {{field Jarvislabs 2026-05}}، SemiAnalysis {{field SemiAnalysis 2025-10}}، Crusoe {{field Crusoe 2026-09}} و InferenceX {{field InferenceX 2026-05}}.

نکات و محدودیت‌های همراه اعداد را بخوانید. Rawlinson حافظه‌ی SGLang را روی پیش‌فرض و vLLM را روی 0.9 رها کرد؛ در نتیجه استخرهای KV دو موتور متفاوت بودند. Jarvislabs نسخه‌ی هیچ‌کدام از موتورها را ثبت نکرد. Spheron، RunPod، Modal و Jarvislabs زمان پردازش GPU می‌فروشند؛ این انگیزه‌ای برای اجرای بنچمارک است، اما دلیلی برای جانبداری از یک موتور نمی‌شود. نتیجه‌ی Crusoe تنها آزمونی است که حسابرسی رسمی خارجی دارد. تاخیر صدک 99 (p99) زمان به ازای هر توکن در آن برابر با 79.98 میلی‌ثانیه در برابر سقف 80 میلی‌ثانیه بود.

شش یافته و سازوکار پشت هر یکهر نتیجه مستقل در این بخش، به یک سازوکار مشخص برمی‌گردد که می‌توانید روی سرور خودتان تست کنید.
شش یافته و سازوکار پشت هر یک شش ردیف از گزارش‌های میدانی مستقل. هر ردیف نام یک بار کاری، نتیجه گزارش‌شده، و سازوکار SGLang که آن را توضیح می‌دهد نشان می‌دهد: کرنل‌ها، کش رادیکس، پیش‌پرکنی تکه‌ای، سقف گراف رمزگشایی، داده‌های اتنشن و موازی‌سازی متخصصان، و هزینه توکن‌های پیش‌نویس. بار کاری نتیجه گزارش‌شده سازوکار پرامپت‌های یکتا، متراکم برابری با اختلاف چند درصد خانواده کرنل یکسان پیشوندهای تکراری اولین توکن 583 در برابر 2,141 میلی‌ثانیه کش رادیکس پرامپت‌های 16k توکنی اولین توکن کندتر، TPOT سریع‌تر chunked prefill 8,192 بدون سقف همزمانی فاصله بین توکن 100.92 در برابر 28.84 میلی‌ثانیه سقف گراف، یک فرضیه DeepSeek MoE، چندین GPU موتور مرجع، اعتبارسنجی MLPerf DP اتنشن و EP MTP روی B200 TPOT از 18.43 به 9.92 میلی‌ثانیه هزینه توکن پیش‌نویس، پذیرش کادر خط‌چین فرضیه ماست، نه یافته قطعی گزارش.
هر ردیف را از چپ به راست بخوانید: از بار کاری به نتیجه گزارش‌شده و سپس سازوکار SGLang. زیتونی سمت کلاینت است، بنفش کرنل‌ها، و سبز کش. برگرفته از گزارش‌های میدانی ذکرشده در این بخش.

ناپایداری روی سخت‌افزارهای جدید

همین گزارش‌ها الگوی دیگری را نیز نشان می‌دهند. طبق گزارش joshua8.ai {{field joshua8 2026-01}}، یک کارت ورک‌استیشن Blackwell تنها با فلگ --disable-cuda-graph توانست SGLang را اجرا کند. یک کلاستر ناهمگن هم به محض اضافه شدن یک کارت قدیمی‌تر با خطا متوقف شد، چون مسیر FP4 به قابلیت محاسباتی (compute capability) نسخه‌ی 10.0 نیاز داشت. Pivot News این پست جامعه‌ی کاربری را خلاصه کرده است {{field Pivot-News 2026-05}}. مسیرهای محاسباتی سریع به تفکیک نسل‌های پردازنده‌ی گرافیکی نوشته می‌شوند و مسیرهای باقی کارت‌ها کمتر است. روی سخت‌افزارهای تازه‌وارد، انتظار داشته باشید که اولین نسخه‌ی SGLang کند باشد یا به مشکل بخورد؛ بنچمارک‌ها را هر هفته تکرار کنید.

یافته‌های ما روی سیستم‌های خودمان

گزارش‌های میدانی مشخص می‌کنند کدام سازوکارها ارزش تست دارند. ما آن‌ها را روی یک DGX Spark با یک GB10 و روی ماشینی با دو پردازنده‌ی 24 گیگابایتی L4 تست کردیم. هر ردیف جدول زیر به بخشی لینک دارد که شامل کدها، سیدها (seeds) و نمودار مربوطه است.

کجا چه چیزی را اجرا کردیم نتیجه سازوکار
L4 پرامپت اشتراکی 4,096 توکنی، کش روشن و خاموش میانه‌ی TTFT برابر با 479 میلی‌ثانیه در برابر 14,706 میلی‌ثانیه، 4.3 برابر نرخ پردازش؛ اجرای با کش خاموش در فرکانس 930 مگاهرتز (زیر کف فرکانسی ما) انجام شد، بخش 3.3 کش رادیکس
L4 وزن‌ها و حافظه‌ی KV با فرمت FP8 در مقایسه با BF16 در 64 کاربر 736 در برابر 251 توکن بر ثانیه، استخری با ظرفیت 142,369 توکن در برابر 24,094 توکن، بخش 4.3 ظرفیت بیشتر KV به ازای هر گیگابایت
GB10 روش EAGLE-3 روی مدل Qwen3-30B-A3B کاهش 1.56 تا 1.89 برابری در زمان هر توکن، بیشترین مقدار در 16 تا 64 کاربر، بخش 4.4 اعتبارسنجی در MoE وزن‌های خوانده‌شده‌ی کارشناس را دوباره استفاده می‌کند
L4 روش EAGLE-3 روی مدل متراکم Qwen3-8B 2.37 برابر نرخ پردازش در 1 کاربر (با 19 درصد فرکانس پایین‌تر برای حالت پیش‌فرض)، و برابری (1.00) در 32 کاربر، بخش 4.4 پیش‌نویس 59 درصد ظرفیت استخر را گرفت
جفت کارت L4 استفاده از --dp-size 2 روی یک کارت مشترک 42 در برابر 251 توکن بر ثانیه در 64 کاربر؛ اجرای جفت‌کارت در 675 مگاهرتز (زیر کف فرکانسی ما)، بخش 6.1 الگوریتم Round-robin درخواست را به نسخه‌ای فرستاد که یک‌هشتم استخر را داشت
L4 نسخه‌ی SGLang 0.5.22 در برابر vLLM 0.31.0 با استخر یکسان، 64 کاربر 257 در برابر 241 توکن بر ثانیه، تاخیر P99 ITL برابر با 114 در مقابل 1,363 میلی‌ثانیه، میانه‌ی TTFT برابر با 18,356 در برابر 10,953 میلی‌ثانیه، ادامه‌ی متن تفاوت دو گزینش پذیرش درخواست هنگام پر شدن استخر
L4 همان جفت روی پرامپت اشتراکی 4,096 توکنی 88.4 در برابر 86.8 توکن بر ثانیه، میانه‌ی TTFT برابر با 474 در برابر 375 میلی‌ثانیه، ادامه‌ی متن دو سیستم کش پیشوند (prefix caching) که هر دو به نتیجه رسیدند
L4 همان جفت با نرخ 4 درخواست بر ثانیه (توزیع پواسون) 257.5 در برابر 286.6 توکن بر ثانیه، تاخیر P99 TPOT برابر با 127 در برابر 187 میلی‌ثانیه، ادامه‌ی متن همان گزینش پذیرش زیر بار با نرخ ورودی ثابت
L4 همان جفت با طول پرامپت‌های ترکیبی در 16 کاربر 159.6 در برابر 169.6 توکن بر ثانیه، تاخیر P99 ITL برابر با 363 در برابر 191 میلی‌ثانیه، ادامه‌ی متن نحوه‌ی ترکیب پیش‌پرکنی با جریان خروجی در هر موتور
جفت کارت L4 استفاده از --tp-size 2 روی یک کارت مشترک رد درخواست در مرحله‌ی راه‌اندازی، بخش 6.1 بررسی توازن حافظه مانع اجرا شد
جفت کارت L4 تفکیک پیش‌پرکنی و رمزگشایی روی TCP بعد از دقیقه‌ی سوم، همه‌ی درخواست‌ها با پاسخ خالی ولی با کد HTTP 200 برگشتند، بخش 6.3 نشست تبادل داده قطع شد و بازیابی نشد

بیشتر ردیف‌ها از یک الگو پیروی می‌کنند: یک سازوکار زمانی در هر یک از دو موتور با اختلافی بزرگ برنده می‌شود که کارهای تکراری را حذف کند؛ مثل پیش‌پرکنی پرامپت‌های اشتراکی و بایت‌های هر توکن کش‌شده. در مقابل، وقتی قابلیتی حافظه‌ی مورد نیاز دسته را مصرف کند یا دو بخش از یک استقرار هم‌اندازه نباشند، نتیجه افت می‌کند. هیچ‌کدام از این شکست‌ها در محیط اجرا (runtime) خطایی چاپ نکردند که در داشبورد دیده شود؛ دو مورد از آن‌ها حتی در خلاصه‌ی بنچمارک شبیه موفقیت به نظر می‌رسیدند.

مقایسه‌ی SGLang در برابر vLLM روی همان کارت L4

همه‌ی گزارش‌های میدانی بالا دو موتوری را مقایسه می‌کنند که دیگران پیکربندی کرده‌اند. ما جفت آزمایشی خودمان را روی یک کارت L4 با Qwen/Qwen3-8B و پیمایش حلقه‌بسته (closed-loop) بخش 5.1 اجرا کردیم. سه تصمیم گرفتیم تا تنها متغیر، خود موتور باشد:

  • استخر یکسان برای KV. سرور vLLM پارامتر --num-gpu-blocks-override 1506 را دریافت کرد که معادل 1,506 بلوک 16 توکنی است. SGLang نیز روی همان کارت به طور خودکار استخری با اندازه‌ی 24,094 توکن برای خود در نظر گرفت.
  • وضعیت سخت‌افزاری یکسان. هر دو موتور در یک نشست روی یک GPU اجرا شدند، و هر اجرا در دمای 72 درجه‌ی سانتی‌گراد یا کمتر آغاز شد. هر آزمونی که میانه‌ی کلاک هسته‌های محاسباتی (SM clock) آن زیر 1,000 مگاهرتز افت می‌کرد، کنار گذاشته شد و تا سه بار تکرار شد.
  • حذف معلولیت تصادفی. سرور vLLM پارامتر --max-model-len 8192 را دریافت کرد که همه‌ی درخواست‌ها در آن جا می‌شوند، و همچنین فلگ VLLM_USE_FLASHINFER_SAMPLER=0 اعمال شد، چون نمونه‌گیر (sampler) فلاش‌اینفر در نصب ما کامپایل نشد. از آنجا که بنچمارک با استراتژی حریصانه (greedy) اجرا می‌شود، تعویض نمونه‌گیر خروجی را تغییر نمی‌دهد.
دو استخر با اندازه یکسان capture/gpu/out-l4/server-h2h-sglang.log
[2026-10-17 18:27:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-17 20:12:04] Decode batch, #running-req: 37, #token: 22162, token usage: 0.92, cuda graph: True, gen throughput (token/s): 432.55, #queue-req: 27

استخر SGLang هنگام راه‌اندازی، و یک سطر رمزگشایی در سقف همزمانی 64.

استخر vLLM، و vLLM در سقف همزمانی 64 capture/gpu/out-l4/server-h2h-vllm.log
INFO 10-17 20:13:17 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-17 22:35:43 [loggers.py:320] Engine 000: Avg prompt throughput: 460.3 tokens/s, Avg generation throughput: 323.6 tokens/s, Running: 40 reqs, Waiting: 11 reqs, GPU KV cache usage: 99.5%, Prefix cache hit rate: 8.7%

استخر vLLM هنگام راه‌اندازی، و یک سطر آمار در سقف همزمانی 64.

همروندی خروجی tok/s (SGLang / vLLM) میانه‌ی TTFT (SGLang / vLLM) تاخیر P99 ITL (SGLang / vLLM) میانه‌ی کلاک SM (SGLang / vLLM)
1 13.84 / 13.51 185 / 192 میلی‌ثانیه 104 / 105 میلی‌ثانیه 1,290 / 1,290 مگاهرتز
8 112.46 / 112.79 170 / 253 میلی‌ثانیه 71 / 68 میلی‌ثانیه 1,485 / 1,470 مگاهرتز
16 201.13 / 200.90 212 / 289 میلی‌ثانیه 81 / 80 میلی‌ثانیه 1,470 / 1,425 مگاهرتز
32 271.28 / 273.93 2,871 / 1,813 میلی‌ثانیه 102 / 619 میلی‌ثانیه 1,320 / 1,275 مگاهرتز
64 256.62 / 241.39 18,356 / 10,953 میلی‌ثانیه 114 / 1,363 میلی‌ثانیه 1,215 / 1,013 مگاهرتز
نرخ پردازش یکسان، دو تصمیم متفاوت هنگام پر شدن استخردر همزمانی 64 کاربر روی L4، vLLM توکن اول را 1.7 برابر زودتر تحویل داد و SGLang تاخیر صدک 99 بین توکن‌ها را 12 برابر پایین‌تر نگه داشت.
نرخ پردازش یکسان، دو تصمیم متفاوت هنگام پر شدن استخر میانه زمان تا توکن اول و تاخیر صدک 99 بین توکن‌ها در برابر همزمانی 1 تا 64 برای SGLang 0.5.22 و vLLM 0.31.0 با Qwen3-8B روی یک پردازنده NVIDIA L4، با استخرهای KV به اندازه 24,094 و 24,096 توکن و سه دانه برای هر نقطه، در مقیاس لگاریتمی. تا همزمانی 16، نمودارهای بین توکنی روی هم قرار دارند و SGLang توکن اول را زودتر می‌دهد. در 32 و 64، vLLM توکن اول را زودتر می‌دهد (1,813 در برابر 2,871 میلی‌ثانیه و 10,953 در برابر 18,356 میلی‌ثانیه)، در حالی که P99 تاخیر بین توکن آن به 619 و 1,363 میلی‌ثانیه افزایش می‌یابد در مقایسه با 102 و 114 میلی‌ثانیه برای SGLang. 50 100 300 1k 3k 10k 30k 1 2 4 8 16 32 64 حداکثر همزمانی میلی‌ثانیه (مقیاس لگاریتمی) میانه TTFT در SGLang میانه TTFT در vLLM P99 ITL در SGLang P99 ITL در vLLM
خطوط پیوسته میانه TTFT و خطوط خط‌چین تاخیر صدک 99 بین توکن‌ها (P99 ITL) هستند؛ سه دانه تصادفی برای هر نقطه، در مقیاس لگاریتمی. آبی نشان‌دهنده SGLang و کهربایی vLLM است. برگرفته از capture/gpu/summary/l4.json.

اندازه‌گیری‌های ما برابری در نرخ پردازش را نشان داد. تا سطح همروندی 32 کاربر، دو موتور در محدوده‌ی 3 درصد از یکدیگر بودند و زمان تولید هر توکن زیر 6 درصد اختلاف داشت. در 64 کاربر، میانه‌ی زمان به ازای هر توکن در SGLang برابر با 106 میلی‌ثانیه و در vLLM برابر با 129 میلی‌ثانیه بود. پیش از نقطه‌ای که استخر پر شود، SGLang اولین توکن را زودتر داد؛ 170 در برابر 253 میلی‌ثانیه در 8 کاربر.

فراتر از این نقطه، دو موتور تصمیمات متفاوتی گرفتند و خطوط آمار هر دو را نشان می‌دهند. SGLang تعداد 37 درخواست را اجرا کرد و 27 مورد را در صف نگه داشت، در حالی که استخر 92 درصد پر بود. سرور vLLM تعداد 40 درخواست را اجرا کرد و 11 مورد را در انتظار گذاشت. این موتور 99.5 درصد استخرش را پر کرد، در حالی که پیش‌پرکنی پرامپت‌های جدید را با سرعت 460 توکن بر ثانیه انجام می‌داد.

سرور vLLM پردازش درخواست‌های بیشتری را آغاز کرد؛ در نتیجه اولین توکن آن‌ها زودتر آمد. سپس هر پیش‌پرکنی جدید، گام محاسباتی را با رمزگشایی‌های در حال اجرا شریک شد و باعث توقف جریان خروجی شد. در 64 کاربر، تاخیر صدک 99 فاصله‌ی بین توکن‌ها (P99 ITL) در vLLM به 1,363 میلی‌ثانیه رسید و در SGLang روی 114 میلی‌ثانیه ماند.

نکته‌ی کلاک مربوط به همین ردیف آخر است. حتی بعد از سه بار تلاش، اجرای vLLM در 64 کاربر میانه‌ی کلاک 1,013 مگاهرتز را در برابر 1,215 مگاهرتز برای SGLang ثبت کرد. بنابراین بخشی از اختلاف نرخ پردازش در 64 می‌تواند مربوط به کارت باشد. اما اختلاف 12 برابری در تاخیر بین توکن‌ها آن‌قدر زیاد است که با 17 درصد تفاوت کلاک توجیه نمی‌شود.

مقایسه‌ی همان جفت روی پرامپت‌های اشتراکی

سپس پیمایش پیشوند از بخش 3.3 را با همان جفت، با همان استخرها و همان قاعده‌ی خنک‌سازی اجرا کردیم. در هر اجرا، 64 پرامپت در 4 دسته‌ی 16تایی در همروندی 8 کاربر فرستاده شد. پرامپت‌های هر دسته یک پرامپت سیستم مشترک بین 0 تا 4,096 توکن، یک پرسش 128 توکنی و 64 توکن خروجی داشتند. SGLang از کش رادیکس خود استفاده کرد. سرور vLLM از قابلیت prefix caching خود بهره برد که در نسخه‌ی 0.31.0 به طور پیش‌فرض روشن است.

اصابت در هر دو کش capture/gpu/out-l4/server-h2h-prefix-vllm.log
INFO 10-17 23:37:11 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 00:43:16 [loggers.py:320] Engine 000: Avg prompt throughput: 231.0 tokens/s, Avg generation throughput: 93.6 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 77.2%, Prefix cache hit rate: 87.2%

استخر vLLM هنگام راه‌اندازی، و یک سطر آمار در 4,096 توکن اشتراکی.

لاگ SGLang نیز همین موضوع را با بیان خود نشان می‌دهد. در یک دسته‌ی پیش‌پرکنی با 4,096 توکن اشتراکی، 12,952 توکن از کش آمد و 406 توکن جدید بود.

توکن‌های پرامپت اشتراکی خروجی tok/s (SGLang / vLLM) میانه‌ی TTFT (SGLang / vLLM) تاخیر P99 TTFT (SGLang / vLLM)
0 113.5 / 113.8 354 / 408 میلی‌ثانیه 483 / 485 میلی‌ثانیه
256 110.9 / 111.5 470 / 488 میلی‌ثانیه 856 / 616 میلی‌ثانیه
1,024 105.7 / 106.0 466 / 396 میلی‌ثانیه 1,887 / 1,303 میلی‌ثانیه
2,048 100.4 / 100.2 441 / 410 میلی‌ثانیه 2,317 / 1,767 میلی‌ثانیه
4,096 88.4 / 86.8 474 / 375 میلی‌ثانیه 4,275 / 4,019 میلی‌ثانیه
دو کش پیشوند، یک نتیجهروی L4، هر دو کش پیشوند میانه TTFT را در تمام طول‌های اشتراکی زیر 500 میلی‌ثانیه نگه داشتند، در حالی که اجرای بدون کش به 14,706 میلی‌ثانیه رسید.
دو کش پیشوند، یک نتیجه میانه زمان تا توکن اول در برابر طول پرامپت اشتراکی از 0 تا 4,096 توکن برای SGLang 0.5.22 با کش رادیکس، vLLM 0.31.0 با کش پیشوند، و SGLang با کش خاموش، در حال سرویس‌دهی Qwen3-8B روی یک NVIDIA L4 با 8 کاربر، سه دانه در هر نقطه، در مقیاس لگاریتمی. هر دو نمودار دارای کش در تمام طول‌ها بین 354 تا 488 میلی‌ثانیه می‌مانند. بدون کش، مقدار میانه در 4,096 توکن اشتراکی به 14,706 میلی‌ثانیه افزایش می‌یابد. 200 500 1k 2k 5k 10k 20k 0 256 1k 2k 4.1k توکن‌های اشتراکی پرامپت میانه TTFT، میلی‌ثانیه (لگاریتمی) SGLang، کش رادیکس vLLM، کش پیشوند SGLang، بدون کش
میانه TTFT در برابر طول پرامپت اشتراکی در همزمانی 8 کاربر، سه دانه تصادفی برای هر نقطه، در مقیاس لگاریتمی. آبی SGLang با کش رادیکس و کهربایی vLLM با کش پیشوند است. خط‌چین سرخابی SGLang بدون کش از اجرای قبلی در بخش 3.3 است. برگرفته از capture/gpu/summary/l4.json.

اندازه‌گیری‌های ما نشان داد نرخ پردازش برابر است؛ در تمامی طول‌های مشترک اختلاف زیر 2 درصد بود. میانه‌ی TTFT هر دو موتور بین 354 تا 488 میلی‌ثانیه ماند. در 0 و 256 توکن اشتراکی، SGLang خارج از پراکندگی سیدها اولین توکن را زودتر داد: 354 در برابر 408 میلی‌ثانیه و 470 در برابر 488 میلی‌ثانیه. از 1,024 توکن به بعد، بازه‌های سیدها همپوشانی داشتند.

موتور vLLM در بخش انتهایی توزیع عملکرد بهتری داشت. مقدار P99 TTFT آن از 256 توکن اشتراکی به بعد پایین‌تر بود؛ 1,303 در برابر 1,887 میلی‌ثانیه در 1,024 توکن. SGLang در 4,096 توکن زمان به ازای هر توکن کمتری داشت: 75.6 در برابر 80.8 میلی‌ثانیه. میانه‌ی کلاک SM در هر آزمایش 1,395 مگاهرتز یا بیشتر بود.

ابعاد واقعی نتیجه در سطر سوم مشخص می‌شود. با کش خاموش، یک اجرای مجزای SGLang برای میانه‌ی اولین توکن در 4,096 توکن مشترک به 14,706 میلی‌ثانیه زمان نیاز داشت. آن کارت زیر کف فرکانسی ما کار کرد. هر دو اجرای با کش زیر 500 میلی‌ثانیه ماندند. تفاوت بین این دو کش حدود 100 میلی‌ثانیه بود.

سپس سرور vLLM را با فلگ --no-enable-prefix-caching، با همان استخر و همان پیمایش اجرا کردیم. لاگ آن نشان می‌دهد کش خاموش است و هر توکن پرامپت دوباره پیش‌پرکنی می‌شود.

vLLM با کش پیشوند خاموش capture/gpu/out-l4/server-h2h-prefix-vllm-no-cache.log
INFO 10-21 06:20:24 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-21 08:07:49 [loggers.py:320] Engine 000: Avg prompt throughput: 1607.0 tokens/s, Avg generation throughput: 6.4 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 76.7%

استخر هنگام راه‌اندازی، و یک سطر آمار در 4,096 توکن اشتراکی. نرخ پردازش پرامپت بالاست چون چیزی بازاستفاده نمی‌شود.

توکن‌های پرامپت اشتراکی میانه‌ی TTFT با کش روشن / خاموش (SGLang) میانه‌ی TTFT با کش روشن / خاموش (vLLM) خروجی tok/s در حالت کش خاموش (SGLang / vLLM)
256 470 / 985 میلی‌ثانیه 488 / 753 میلی‌ثانیه 99.4 / 99.1
1,024 466 / 2,202 میلی‌ثانیه 396 / 1,213 میلی‌ثانیه 70.2 / 70.9
4,096 474 / 14,706 میلی‌ثانیه 375 / 13,353 میلی‌ثانیه 20.8 / 19.6

اندازه‌گیری‌های ما همان ابعاد بهبود را در هر دو موتور نشان داد. در 4,096 توکن اشتراکی، کش میانه‌ی زمان اولین توکن را حدود 31 برابر در SGLang و 36 برابر در vLLM کاهش داد. خروجی را 4.2 برابر در SGLang و 4.4 برابر در vLLM رساند. بدون کش، هر دو موتور در نرخ پردازش با اختلافی زیر 7 درصد برابر شدند.

بدون کش، سرور vLLM در پرامپت‌های اشتراکی بین 256 تا 2,048 توکن، اولین توکن را زودتر تحویل داد. اجرای متناظر آن در SGLang در روز دیگری انجام شده بود. آزمون vLLM با کش خاموش در تاریخ 21-10-2026 ثبت شد، یعنی چهار روز پس از آزمون با کش روشن. اجراهای 4,096 توکن اشتراکی حتی بعد از سه بار تلاش زیر کف فرکانسی ما (در 930 و 675 مگاهرتز) ماندند؛ بنابراین به این ردیف به چشم مقیاس تغییرات نگاه کنید، نه یک عدد دقیق.

مقایسه‌ی همان جفت در نرخ ورودی ثابت

یک حلقه‌ی بسته تنها زمانی درخواست جدید می‌فرستد که پاسخ درخواست قبلی برگردد؛ بنابراین موتور سرعت را تعیین می‌کند. ترافیک محیط عملیاتی (production) منتظر موتور نمی‌ماند. ما سناریوی نرخ از بخش 5.1 را روی همان جفت، با همان استخرها و همان قوانین دما و کلاک اجرا کردیم. درخواست‌ها با نرخ پواسون بین 0.5 تا 16 در ثانیه، با 512 توکن ورودی و 128 توکن خروجی رسیدند. هر تست حداقل 32 پرامپت یا 30 ثانیه ترافیک ورودی را شامل می‌شد.

همان رویکرد پذیرش در نرخ ورود ثابت capture/gpu/out-l4/server-h2h-rate-sglang.log
[2026-10-18 00:43:57] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 03:13:55] Decode batch, #running-req: 37, #token: 22424, token usage: 0.93, cuda graph: True, gen throughput (token/s): 370.33, #queue-req: 71

استخر SGLang هنگام راه‌اندازی، و یک سطر رمزگشایی همراه با درخواست‌های منتظر.

vLLM در همان نرخ درخواست‌های بیشتری را می‌پذیرد capture/gpu/out-l4/server-h2h-rate-vllm.log
INFO 10-18 03:15:35 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 06:10:22 [loggers.py:320] Engine 000: Avg prompt throughput: 1326.7 tokens/s, Avg generation throughput: 158.4 tokens/s, Running: 43 reqs, Waiting: 30 reqs, GPU KV cache usage: 99.7%, Prefix cache hit rate: 0.6%

استخر vLLM هنگام راه‌اندازی، و یک سطر آمار همراه با درخواست‌های منتظر.

درخواست بر ثانیه خروجی tok/s (SGLang / vLLM) میانه‌ی TTFT (SGLang / vLLM) میانه‌ی TPOT (SGLang / vLLM) تاخیر P99 TPOT (SGLang / vLLM) میانه‌ی کلاک SM (SGLang / vLLM)
0.5 70.6 / 70.6 284 / 317 میلی‌ثانیه 74.7 / 72.7 میلی‌ثانیه 81 / 78 میلی‌ثانیه 1,485 / 1,485 مگاهرتز
1 123.3 / 123.6 166 / 180 میلی‌ثانیه 74.0 / 68.2 میلی‌ثانیه 76 / 69 میلی‌ثانیه 1,500 / 1,485 مگاهرتز
2 226.3 / 227.8 221 / 233 میلی‌ثانیه 99.9 / 88.7 میلی‌ثانیه 120 / 109 میلی‌ثانیه 1,433 / 1,418 مگاهرتز
4 257.5 / 286.6 9,575 / 8,304 میلی‌ثانیه 115.1 / 126.9 میلی‌ثانیه 127 / 187 میلی‌ثانیه 1,350 / 1,245 مگاهرتز
8 253.9 / 261.8 37,211 / 27,510 میلی‌ثانیه 105.2 / 126.0 میلی‌ثانیه 151 / 248 میلی‌ثانیه 1,215 / 1,035 مگاهرتز
16 218.2 / 205.8 97,542 / 94,322 میلی‌ثانیه 115.2 / 185.2 میلی‌ثانیه 189 / 322 میلی‌ثانیه 600 / 450 مگاهرتز
تصمیمی یکسان در نرخ ورود ثابتدر نرخ 4 درخواست در ثانیه روی L4، vLLM تا 11 درصد خروجی بیشتری داد و SGLang زمان هر توکن در صدک 99 را 32 درصد پایین‌تر نگه داشت.
تصمیمی یکسان در نرخ ورود ثابت میانه زمان تا اولین توکن و زمان صدک 99 به ازای هر توکن خروجی در برابر نرخ ورود پواسون از 0.5 تا 16 درخواست در ثانیه برای SGLang 0.5.22 و vLLM 0.31.0 با Qwen3-8B روی یک NVIDIA L4، با استخرهای KV به میزان 24,094 و 24,096 توکن، 512 توکن ورودی و 128 توکن خروجی، و سه دانه برای هر نقطه، در مقیاس لگاریتمی. تا 2 درخواست در ثانیه، هر چهار خط زیر 1,000 میلی‌ثانیه می‌مانند. از 4 درخواست در ثانیه، خطوط توکن اول تا چند ثانیه بالا می‌روند که در vLLM کمتر است، و زمان صدک 99 به ازای هر توکن در vLLM بالاتر از خط SGLang قرار می‌گیرد (187 در برابر 127 میلی‌ثانیه در نرخ 4). 50 100 300 1k 10k 100k 0.5 1 2 4 8 16 نرخ ورود درخواست، درخواست در ثانیه (پواسون) میلی‌ثانیه (مقیاس لگاریتمی) میانه TTFT در SGLang میانه TTFT در vLLM P99 TPOT در SGLang P99 TPOT در vLLM
خطوط پیوسته میانه TTFT و خطوط خط‌چین زمان صدک 99 به ازای هر توکن خروجی (P99 TPOT) هستند؛ سه دانه برای هر نقطه، در مقیاس لگاریتمی. آبی SGLang و کهربایی vLLM است. برگرفته از capture/gpu/summary/l4.json.

اندازه‌گیری‌های ما تا نرخ 2 درخواست بر ثانیه برابری را نشان داد. هر دو موتور هم‌پای ترافیک ورودی پیش رفتند، بنابراین نرخ پردازش در محدوده‌ی 1 درصد یکسان بود. SGLang در نرخ‌های 0.5 و 1 بر ثانیه، خارج از پراکندگی سیدها اولین توکن را سریع‌تر تحویل داد. میانه‌ها 284 در برابر 317 میلی‌ثانیه و 166 در برابر 180 میلی‌ثانیه بود. vLLM زمان به ازای هر توکن (TPOT) کمتری داشت؛ در نرخ 1 بر ثانیه این مقدار 68 در برابر 74 میلی‌ثانیه (خارج از پراکندگی) و در 2 بر ثانیه 89 در برابر 100 میلی‌ثانیه ثبت شد.

نرخ پردازش موثر (Goodput) معنای این تفاوت را برای یک شاخص هدف نشان می‌دهد. ما هدف را 1 ثانیه تا اولین توکن و 100 میلی‌ثانیه برای هر توکن بعدی تعریف کردیم. در 2 درخواست بر ثانیه، vLLM میانه‌ی 1.36 درخواست بر ثانیه را در این چارچوب هدف پاسخ داد و SGLang به 0.88 رسید. دامنه‌ی سیدها همپوشانی داشت؛ 1.09 تا 1.44 در برابر 0.54 تا 1.18. میانه‌ی زمان به ازای هر توکن در SGLang دقیقاً روی مرز هدف، یعنی 99.9 میلی‌ثانیه قرار گرفت.

از 4 درخواست بر ثانیه به بعد، هر دو موتور از ترافیک ورودی عقب افتادند و هیچ درخواستی به این هدف نرسید. خطوط آمار همان رفتار گزینش پذیرش را نشان می‌دهند که در سناریوی حلقه‌بسته دیدیم: SGLang تعداد 37 درخواست را با اشغال 93 درصدی استخر در حال اجرا نگه داشت. سرور vLLM تعداد 43 درخواست را اجرا کرد و 99.7 درصد از استخرش پر شد.

در نرخ 4 بر ثانیه، vLLM با ثبت 286.6 در برابر 257.5 توکن بر ثانیه، 11 درصد نرخ پردازش بهتری داشت که فراتر از بازه‌ی پراکندگی سیدها بود. میانه‌ی اولین توکن آن در 8.3 در برابر 9.6 ثانیه آمد، اما دامنه‌ی آن سیدها همپوشانی داشت. بهای این تغییر در جریان خروجی مشخص شد: تاخیر P99 زمان به ازای هر توکن آن به 187 در برابر 127 میلی‌ثانیه رسید که خارج از دامنه‌ی پراکندگی بود.

کلاک پردازنده اختلاف در نرخ 4 را توجیه نمی‌کند. اجراهای vLLM کلاک میانه‌ی پایین‌تری داشتند (1,245 در برابر 1,350 مگاهرتز). در 8 درخواست بر ثانیه، بازه‌های نرخ پردازش همپوشانی پیدا کردند. در 16 بر ثانیه، همه‌ی اجراهای هر دو موتور حتی بعد از سه بار تلاش زیر 1,000 مگاهرتز ماندند؛ بنابراین این ردیف را مقایسه نمی‌کنیم.

مقایسه‌ی همان جفت روی ترافیک موجی

آخرین باری که تست کردیم، الگوی بخش 5.1 است که درخواست‌ها را در قالب موج وارد می‌کند. در هر بار، 64 پرامپت 512 توکنی با 128 توکن خروجی و با سقف 16 کاربر فرستاده شد. تنها متغیری که تغییر کرد --random-range-ratio بود. در نسبت 1.0 همه‌ی پرامپت‌ها طول یکسانی دارند؛ در نتیجه درخواست‌ها با هم تمام می‌شوند و جایگزین‌های آن‌ها نیز موجی و هم‌زمان می‌رسند. در 0.5 و 0.0 طول‌ها متغیر است، بنابراین درخواست‌ها یکی‌یکی وارد می‌شوند.

vLLM در میانه یک موج بار کاری capture/gpu/out-l4/server-h2h-waves-vllm.log
INFO 10-18 18:38:07 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 19:14:22 [loggers.py:320] Engine 000: Avg prompt throughput: 960.0 tokens/s, Avg generation throughput: 187.3 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 22.6%, Prefix cache hit rate: 8.5%

استخر vLLM هنگام راه‌اندازی، و یک سطر آمار با 16 درخواست فعال.

نسبت طول ورودی خروجی tok/s (SGLang / vLLM) میانه‌ی TTFT (SGLang / vLLM) میانه‌ی TPOT (SGLang / vLLM) تاخیر P99 ITL (SGLang / vLLM)
1.0، طول ثابت 182.3 / 181.7 1,775 / 1,499 میلی‌ثانیه 74.7 / 76.8 میلی‌ثانیه 81 / 502 میلی‌ثانیه
0.5، ترکیبی 159.6 / 169.6 325 / 353 میلی‌ثانیه 87.8 / 81.4 میلی‌ثانیه 363 / 191 میلی‌ثانیه
0.0، ترکیبی 158.2 / 174.4 283 / 284 میلی‌ثانیه 86.7 / 75.0 میلی‌ثانیه 302 / 202 میلی‌ثانیه

اندازه‌گیری‌های ما نشان داد برای هر الگوی ترافیک، برنده‌ی متفاوتی وجود دارد. با طول‌های ثابت، نرخ پردازش دو موتور برابر شد. آن‌ها همان مبادله‌ی شرایط استخر پر را تکرار کردند: سرور vLLM اولین توکن را زودتر داد (1,499 در برابر 1,775 میلی‌ثانیه، خارج از پراکندگی سیدها). SGLang جریان خروجی را یکدست نگه داشت، با P99 ITL معادل 81 در برابر 502 میلی‌ثانیه.

با طول‌های ترکیبی، برتری با vLLM بود. در نسبت 0.5 با ثبت 169.6 در برابر 159.6 توکن بر ثانیه، 6 درصد خروجی بهتری خارج از بازه‌ی سیدها ثبت کرد. میانه‌ی زمان هر توکن آن 81.4 در برابر 87.8 میلی‌ثانیه و تاخیر P99 ITL آن 191 در برابر 363 میلی‌ثانیه بود. در 0.0 بازه‌های نرخ پردازش همپوشانی داشتند و vLLM همچنان زمان کمتری برای هر توکن و P99 ITL پایین‌تری ثبت کرد. کلاک میانه در همه‌ی آزمایش‌ها 1,410 مگاهرتز یا بیشتر ماند.

برداشت ما: وقتی پرامپت‌های جدید یکی‌یکی می‌رسند، هر پیش‌پرکنی با رمزگشایی‌های در حال اجرا در یک گام قرار می‌گیرد. سرور vLLM این کار را طوری تقسیم کرد که جریان خروجی کمتر دچار توقف شود.

برای ارزیابی این برداشت، SGLang را در تاریخ 21-10-2026 بار دیگر با فلگ --enable-mixed-chunk، با همان پیمایش و همان استخر اجرا کردیم. این فلگ رمزگشایی‌های در حال اجرا را داخل دسته‌ی پیش‌پرکنی می‌گذارد تا ورود یک پرامپت جدید، جریان خروجی را متوقف نکند. لاگ، اجرای یک پیش‌پرکنی 514 توکنی را هم‌زمان با ادامه‌ی 15 درخواست دیگر در همان دسته نشان می‌دهد.

SGLang با تکه‌های ترکیبی در میانه یک موج بار کاری capture/gpu/out-l4/server-waves-mixed-chunk.log
[2026-10-21 08:34:19] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-21 08:39:51] Decode batch, #running-req: 16, #token: 8889, token usage: 0.37, cuda graph: True, gen throughput (token/s): 231.46, #queue-req: 0
[2026-10-21 08:40:22] Prefill batch, #new-seq: 1, #new-token: 514, #cached-token: 0, token usage: 0.34, #running-req: 15, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 2569.89

استخر هنگام راه‌اندازی، یک گام رمزگشایی با 16 کاربر، و یک پیش‌پرکنی که همزمان با 15 رمزگشایی اجرا شد.

نسبت طول ورودی خروجی tok/s (SGLang با تکه‌ی ترکیبی / vLLM) میانه‌ی TPOT (SGLang با تکه‌ی ترکیبی / vLLM) تاخیر P99 ITL (SGLang پیش‌فرض / تکه‌ی ترکیبی / vLLM)
1.0، طول ثابت 182.3 / 181.7 73.1 / 76.8 میلی‌ثانیه 81 / 203 / 502 میلی‌ثانیه
0.5، ترکیبی 171.8 / 169.6 80.8 / 81.4 میلی‌ثانیه 363 / 193 / 191 میلی‌ثانیه
0.0، ترکیبی 171.9 / 174.4 76.8 / 75.0 میلی‌ثانیه 302 / 196 / 202 میلی‌ثانیه

اندازه‌گیری‌های ما نشان داد که تکه‌ی ترکیبی (mixed chunk) این فاصله را بست. با طول‌های ترکیبی، SGLang در نرخ پردازش، زمان به ازای هر توکن و تاخیر P99 ITL به پای vLLM رسید و بازه‌ی همه‌ی سیدها همپوشانی داشت. در مقایسه با SGLang بدون این فلگ، تاخیر P99 ITL در 0.5 از 363 به 193 میلی‌ثانیه و در 0.0 از 302 به 196 میلی‌ثانیه کاهش یافت. حجم خروجی حدود 8 درصد رشد کرد.

این فلگ در طول‌های ثابت هزینه‌ای هم داشت. میانه‌ی P99 ITL از 81 به 203 میلی‌ثانیه افزایش یافت و سه سید بین 83 تا 349 میلی‌ثانیه پراکنده شدند. وقتی یک موج به طور کامل می‌رسد، پیش‌پرکنی‌ها مراحل را با رمزگشایی‌ها شریک می‌شوند؛ در نتیجه جریان خروجی آن فواصل تمیز قبلی را از دست می‌دهد. البته سرور vLLM در آنجا همچنان وضعیت بدتری داشت (502 میلی‌ثانیه).

کارت GB10 با مدل Qwen3-30B-A3B، در مقایسه با اجرای پیش‌فرض در همان روز، در همان جهت حرکت کرد؛ اما همه‌ی تغییرات داخل بازه‌ی پراکندگی سیدها بود. با طول‌های متغیر، میانه‌ی P99 ITL در 0.5 از 198 به 164 میلی‌ثانیه و در 0.0 از 214 به 202 میلی‌ثانیه رسید. با طول‌های ثابت، از 159 به 210 میلی‌ثانیه رفت. این فلگ همچنین میانه‌ی TTFT را در 0.0 از 324 به 442 میلی‌ثانیه رساند که خارج از بازه‌ی پراکندگی بود. به داده‌های GB10 به چشم یک نشانه‌ی کم‌رنگ دوم نگاه کنید، نه یک اثبات (proof) دوم.

یک نکته‌ی آزمایشی وجود دارد: اجرای پیش‌فرض SGLang روی L4 مربوط به تاریخ 18-10-2026 بود، سه روز قبل از اجرای تکه‌ی ترکیبی. کلاک‌های میانه با این فلگ بین 1,425 تا 1,508 مگاهرتز و بدون آن بین 1,440 تا 1,485 مگاهرتز بودند. کلاک پردازنده این اختلاف را توجیه نمی‌کند.

این نتایج حاصل یک مدل، یک GPU و چهار الگوی بار کاری است. این داده‌ها در نکته‌ی اصلی با گزارش‌های میدانی هم‌خوانی دارند: روی یک مدل متراکم با پرامپت‌های یکتا، نرخ پردازش دو موتور در حلقه‌ی بسته تا 32 کاربر در محدوده‌ی 3 درصد بود. زیر بار سنگین، اختلاف آن‌ها به 11 درصد رسید.

این پیمایش بخشی را نشان می‌دهد که نمودار نرخ پردازش پنهان می‌کند: وقتی استخر پر است، باید بین اولین توکن سریع و جریان خروجی یکدست یکی را انتخاب کنید؛ دو موتور به طور پیش‌فرض انتخاب‌های متفاوتی داشتند. با پرامپت‌های ناهمگون، vLLM به‌صورت پیش‌فرض در نرخ پردازش و یکدستی جریان خروجی جلوتر بود. SGLang همچنان توکن اول را هم‌زمان یا زودتر می‌داد. یک فلگ SGLang، یعنی --enable-mixed-chunk، آن برتری را از بین برد.

برای بررسی چرایی تفاوت اعداد میان کارت‌های مختلف GPU، ابزار Inside an LLM Serving GPU را اجرا کنید. این ابزار اندازه‌ی استخرها، زمان هر گام و نرخ‌های پردازش را از همان داده‌های خلاصه در این بخش برای L4 و GB10 می‌خواند و در صورتی که تنظیمی تست نشده باشد، آن را مشخص می‌کند.

دیدگاه ما

روی کارت L4 ما با مدل Qwen3-8B و پرامپت‌های یکتا، انتخاب موتور تا حد زیادی تصمیمی بر سر نرخ پردازش نبود. این انتخاب یک تصمیم‌گیری درباره‌ی تاخیر (latency) بود و الگوی ترافیک برنده‌ی آن را مشخص می‌کرد. وقتی درخواست‌ها هم‌زمان می‌رسیدند (در استخر پر یا در قالب امواج)، SGLang از جریان خروجی محافظت می‌کرد و vLLM از توکن اول. وقتی پرامپت‌هایی با طول‌های متفاوت یکی‌یکی وارد می‌شدند، vLLM به‌صورت پیش‌فرض در نرخ پردازش و یکدستی جریان جلو بود. با روشن بودن تکه‌ی ترکیبی، SGLang با آن برابر شد.

در 4 درخواست بر ثانیه، فراتر از نقطه‌ی پر شدن استخر، vLLM روی L4 ما 11 درصد خروجی بیشتری تولید کرد. در 8 درخواست بر ثانیه، بازه‌های سیدها همپوشانی داشتند. بر اساس پشتیبانی از مدل، زمان راه‌اندازی و سخت‌افزاری که دارید تصمیم بگیرید، سپس ترکیب طول پرامپت‌های خودتان را بسنجید.

برای پیشوندهای تکراری، مطمئن شوید که کش پیشوند روشن است، سپس اندازه بگیرید. روی L4 ما، با پیشوندهایی که در استخر جا می‌شدند، هر دو کش زیر 500 میلی‌ثانیه به نتیجه‌ی برابر رسیدند. با کش خاموش، SGLang به 14,706 میلی‌ثانیه و vLLM به 13,353 میلی‌ثانیه زمان نیاز داشتند. عامل تعیین‌کننده خودِ کش است، نه موتور. برای مدل‌های MoE هم‌رده با DeepSeek روی چندین GPU، از SGLang شروع کنید؛ چون اهالی این حوزه در عمل آن‌ها را روی همین بستر اجرا می‌کنند.

مهم‌تر از همه: هیچ نتیجه‌ای را کورکورانه نپذیرید. پیمایش بخش 5.1 را روی بار کاری خودتان اجرا کنید. یک عدد منتشرشده فقط به شما می‌گوید کدام سازوکار را تست کنید، و نه چیز دیگر.

مرور رخدادها

نتیجه‌ی نادرست حافظه به دلیل اشتباه در نام فلگ. در گفت‌وگوی شماره‌ی 17221 در گیت‌هاب vLLM، کاربری گزارش کرد که SGLang تنها 7 گیگابایت مصرف کرده، در حالی که vLLM روی همان کارت A10 مقدار 21 گیگابایت حافظه گرفته است {{field vLLM-discussion 2025-04}}. او سپس متوجه شد که فلگ متناظر با --max-model-len در vLLM، پارامتر --context-length است نه --max-total-tokens. با فلگ درست، مصرف حافظه تقریباً یکسان بود.

توصیه‌ای که دیگر کار نمی‌کند. گزارش‌های میدانی سال 2026 توصیه می‌کنند سقف گراف رمزگشایی را با --cuda-graph-max-bs بالا ببرید. در نسخه‌ی v0.5.22 این فلگ به --cuda-graph-max-bs-decode و --cuda-graph-max-bs-prefill تقسیم شده است. کد شکل نوشتاری قدیمی را رد می‌کند. پردازنده‌ی آرگومان‌های sglang serve با این پیام متوقف می‌شود: ambiguous option: --cuda-graph-max-bs could match --cuda-graph-max-bs-decode, --cuda-graph-max-bs-prefill. یک دستورالعمل تنظیم عملکرد به همان اندازه‌ی یک بنچمارک به نسخه‌ی خود وابسته است.

عدد بازیافتی. اختلاف 29 درصدی ابتدای این بخش در تاریخ 04-08-2026 به علت تفاوت نسخه‌ها از سوی DeepInfra مورد انتقاد قرار گرفت {{field DeepInfra 2026-08}}. نویسنده در تاریخ 14-10-2026 پاسخ داد که این نتیجه به کانتکست طولانی تعمیم پیدا نمی‌کند {{field AIMultiple 2026-10}}. تیم SGLang در سال 2024 ادعای بزرگ‌تری داشت: تا 3.1 برابر نرخ پردازش روی Llama-70B {{team 2024-07}}. هیچ گزارش مستقلی در این پژوهش نتوانست چنین اختلافی را روی یک مدل متراکم با پرامپت‌های یکتا بازتولید کند.

منابع: فایل‌های python/sglang/srt/arg_groups/memory_hook.py (لایه‌های حافظه‌ی GPU)، python/sglang/srt/arg_groups/fields/exec_.py (فلگ cuda_graph_max_bs_decode)، python/sglang/srt/arg_groups/fields/schedule.py، همگی در نسخه‌ی v0.5.22 (کامیت baa9befa)؛ گزارش‌های میدانی لینک‌شده در متن، دریافت‌شده در تاریخ 16-10-2026؛ aimultiple.com/inference-engines؛ deepinfra.com/blog/vllm-vs-sglang؛ lmsys.org/blog/2024-07-25-sglang-llama3؛ inferencex.semianalysis.com/blog/mi355x-deepseek-v4-pro-sglang-110x-in-26-days؛ لاگ‌های capture/gpu/out-l4/server-h2h-sglang.log، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/out-l4/server-h2h-prefix-sglang.log، capture/gpu/out-l4/server-h2h-prefix-vllm.log، capture/gpu/out-l4/server-h2h-rate-sglang.log، capture/gpu/out-l4/server-h2h-rate-vllm.log، capture/gpu/out-l4/server-h2h-waves-vllm.log، capture/gpu/summary/l4.json، اسکریپت capture/gpu/sweep.py (کانفیگ‌های vllm و sglang-h2h)، capture/gpu/incidents/l4-vllm-flashinfer-jit.txt؛ لاگ‌های capture/gpu/out-l4/server-h2h-prefix-vllm-no-cache.log، capture/gpu/summary/l4.json (شاخص prefix.vllm-no-prefix-cache)؛ capture/gpu/out-l4/server-waves-mixed-chunk.log، capture/gpu/summary/l4.json (شاخص waves.mixed-chunk) و capture/gpu/summary/gb10.json (شاخص‌های waves.mixed-chunk و waves.graphs-on-b).

ترجمه‌ی فارسی Reading other people's SGLang benchmarks از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما