نتیجهی منتشرشده برای SGLang به نسخه، بار کاری (workload)، بودجهی حافظه، سقف گراف و کرنلها بستگی دارد؛ بنابراین پیش از خواندن اعداد، این پنج مورد را بررسی کنید.
پرتکرارترین عددی که دربارهی SGLang در وب میبینید «29 درصد سریعتر از vLLM» است: 16,215 توکن بر ثانیه در برابر 12,553. این عدد از یک آزمون آفلاین شرکت تحلیلی AIMultiple میآید که در تاریخ 25-01-2026 بهروزرسانی شده است {{field AIMultiple 2026-01}}. در آن صفحه، نسخهی SGLang برابر با «v0.2.3» و نسخهی vLLM برابر با 0.11.0 ثبت شده؛ یعنی فاصلهای در حدود دو سال انتشار بین این دو نسخه وجود دارد. دستکم پنج پست بعدی، همین جفت عدد را تکرار کردهاند؛ برخی حتی به نام شرکتهای دیگر. هیچکدام از آنها آزمون را دوباره اجرا نکردند.
وقتی این بخش را تمام کنید، میتوانید هر بنچمارک منتشرشده از SGLang را به پنج ورودیاش تجزیه کنید. آنوقت تشخیص میدهید که آیا آن نتیجه به کار شما میآید یا نه، و سازوکار پشت آن را نام میبرید. همچنین درمییابید آزمونهای مستقل در چه مواردی همنظرند؛ فهرستی که بسیار کوتاهتر از ادعای تیترهاست.
پنج ورودی پشت هر نتیجه
نتیجهی هر بنچمارک تابعی از پنج ورودی است. بیشتر اختلافنظرها میان گزارشهای منتشرشده به یکی از این موارد برمیگردد:
- الگوی بار کاری. طول ورودی، طول خروجی، همروندی (concurrency) و سهم بخشهای تکراری پرامپت (prompt). کش رادیکس (radix cache) تنها زمانی سودمند است که پیشوندها تکرار شوند. ورودیهای طولانی به مرحلهی پیشپرکنی (prefill) فشار میآورند و همروندی بالا، اسکژولر (scheduler) و استخر KV را تحت فشار میگذارد.
- بودجهی حافظه. اگر مقدار
--mem-fraction-staticرا مشخص نکنید، SGLang آن را بر اساس حافظهی GPU محاسبه میکند. vLLM از--gpu-memory-utilization 0.9استفاده میکند. آزمونی که یکی از این پارامترها را تنظیم کند و دیگری را دستنخورده بگذارد، دو استخر KV با ابعاد متفاوت را با هم مقایسه کرده است. - سقف گراف CUDA. مرحلهی رمزگشایی (decode) تنها تا یک سقف مشخص از اندازهی دسته (batch size)، گراف ثبتشدهی CUDA را بازپخش (replay) میکند. بالاتر از این سقف، رمزگشایی بهصورت eager و با فراخوانی تکتک کرنلها اجرا میشود. بخش 4.1 این سازوکار را توضیح میدهد.
- مسیر کرنل. بکاند اتنشن (attention)، کرنل MoE و فرمت کوانتیزهسازی (quantization). سرنوشت چندین گزارش در ادامه، فقط با وجود یا عدم وجود یک کرنل برای یک GPU خاص تعیین شده است.
- نسخه و تاریخ. یک تحلیلگر، مدل یکسانی را روی یک پردازندهی گرافیکی AMD در فاصلهی 26 روز تست کرد و ارقام 20.4 و سپس 2,256 توکن بر ثانیه به ازای هر GPU را به دست آورد.
کد ورودی سوم را هنگام راهاندازی بر اساس حافظهی GPU تنظیم میکند. یک کارت 80 گیگابایتی H100 با اندازهی موازیسازی تنسور (tensor parallel) کمتر از 4 را در نظر بگیرید: سقف پیشفرض گراف رمزگشایی 256 و اندازهی پیشپرکنی تکهای (chunked prefill) برابر با 8,192 است. روی یک کارت 32 گیگابایتی این حد 48 است، که در تاریخ 04-09-2026 از مقدار 24 افزایش یافت. کامنت کد در آن تغییر میگوید سقف قبلی باعث میشد نرخ پردازش (throughput) در همروندیهای بالا بسیار عقبتر از vLLM بیفتد {{code}}.
شش پرسش پیش از اعتماد به یک عدد
- آیا نسخهی SGLang قید شده است؟ بدون نسخه، نتیجه وضعیت یک بیلد نامشخص را نشان میدهد.
- آیا بار کاری با سناریوی شما همخوانی دارد؟ پرامپتهای کاملاً یکتا هیچ نکتهای دربارهی عملکرد یک سرور چت با پرامپت سیستم طولانی و مشترک به شما نمیگویند.
- آیا بودجهی حافظه بین دو موتور یکسانسازی شده است؟
- آیا میزان همروندی از سقف گراف رمزگشایی فراتر رفته است؟ اگر بله، آزمون در حال سنجش رمزگشایی eager بوده است.
- آیا فلگها بهدرستی متناظر شدهاند؟ یک مفهوم یکسان در هر موتور نام فلگ متفاوتی دارد.
- چه کسی هزینهی آزمون را پرداخت کرده است؟ ارائهدهندهی ابری GPU، سازندهی سختافزار، شرکت رقیب یا تیم توسعهی SGLang؛ هر کدام دلیلی برای ترجیح دادن یک نتیجهی خاص دارند.
مواردی که آزمونهای مستقل بر سر آنها اتفاق نظر دارند
این گزارشها از افرادی خارج از تیم SGLang میآیند. در هر ردیف، سازوکار مرتبط از بخشهای پیشین ذکر شده است تا علت آن نتیجه روشن شود.
| یافته | گزارشهای میدانی | سازوکار |
|---|---|---|
| مدلهای متراکم (Dense) با پرامپتهای یکتا: نتیجه برابر است | Spheron با SGLang 0.5.9، مدل Llama 3.3 70B با فرمت FP8 روی یک کارت H100: نرخ 1,920 در برابر 1,850 توکن بر ثانیه در 50 کاربر. Modal: حدود 17 پرسوجو بر ثانیه برای هر دو روی 8 کارت H100. Varad More: مدلهای 7B تا 9B با اختلافی کمتر از 3 درصد روی کارت A10G | هر دو موتور اکنون از خانوادههای کرنل یکسان، حافظهی KV صفحهبندیشده و دستهبندی پیوسته (continuous batching) استفاده میکنند |
| پیشوندهای تکراری: SGLang برنده است، اما کمتر از شایعات رایج | Steve Rawlinson با SGLang 0.5.6 روی 2 کارت H100: زمان اولین توکن 583 میلیثانیه در برابر 2,141 میلیثانیه در 1 کاربر. RunPod: نرخ 35.0 در برابر 32.8 توکن بر ثانیه برای هر استریم با کانتکست کششدهی 7k. Varad More: برتری SGLang در 10 مدل از 16 مدل به میزان 20 تا 40 میلیثانیه | کش رادیکس، بخش 3.3 را ببینید |
| پرامپتهای طولانی: اولین توکن کندتر، توکنهای بعدی سریعتر | Jarvislabs با پرامپتهای 16k توکنی روی یک H100 در 60 کاربر: اولین توکن 10,802 میلیثانیه در برابر 1,874 میلیثانیه، زمان هر توکن 63 تا 81 میلیثانیه در برابر 97 تا 120 میلیثانیه | پیشپرکنی تکهای با اندازهی 8,192 توکن پرامپت طولانی را خرد میکند و مانع از اختلال در رمزگشاییهای در حال اجرا میشود |
| بار کاری بسیار سنگین با تنظیمات پیشفرض: تاخیر رمزگشایی به شدت افت میکند | Jarvislabs بدون سقف همروندی: میانگین ITL برابر با 100.92 میلیثانیه در برابر 28.84 میلیثانیه | احتمالاً عبور رمزگشایی از سقف گراف 256. این فرضیهی (hypothesis) ماست، نه ادعای آنها |
| مدلهای MoE همرده با DeepSeek روی کلاسترهای بزرگ GPU: مرجع اصلی SGLang است | SemiAnalysis در پروژهی InferenceMAX موتور پیشفرض DeepSeek R1 را SGLang انتخاب کرد. نتیجهی حسابرسیشدهی MLPerf v6.1 برای Crusoe از SGLang 0.5.15.post1 روی 512 پردازندهی گرافیکی MI355X استفاده کرد | موازیسازی دادهای اتنشن و موازیسازی کارشناسان، بخش 6.2 را ببینید |
| دیکودینگ حدسی (Speculative Decoding): روی پردازندههای گرافیکی بزرگ مفید و روی کارتهای کوچک مخرب است | InferenceX با مدل GLM-5 و MTP روی B200 در 4 کاربر: کاهش زمان هر توکن از 18.43 به 9.92 میلیثانیه. Varad More روی یک کارت A10G: افت سرعت بین 7 تا 28 درصد | نسبت هزینهی پیشنویس (draft) به نرخ پذیرش، بخش 4.4 را ببینید |
لینک منابع: Spheron {{field Spheron 2026}}، Modal {{field Modal 2025-06}}، Varad More {{field Varad-More 2026-04}}، Steve Rawlinson {{field Rawlinson 2025-12}}، RunPod {{field RunPod 2025-06}}، Jarvislabs {{field Jarvislabs 2026-05}}، SemiAnalysis {{field SemiAnalysis 2025-10}}، Crusoe {{field Crusoe 2026-09}} و InferenceX {{field InferenceX 2026-05}}.
نکات و محدودیتهای همراه اعداد را بخوانید. Rawlinson حافظهی SGLang را روی پیشفرض و vLLM را روی 0.9 رها کرد؛ در نتیجه استخرهای KV دو موتور متفاوت بودند. Jarvislabs نسخهی هیچکدام از موتورها را ثبت نکرد. Spheron، RunPod، Modal و Jarvislabs زمان پردازش GPU میفروشند؛ این انگیزهای برای اجرای بنچمارک است، اما دلیلی برای جانبداری از یک موتور نمیشود. نتیجهی Crusoe تنها آزمونی است که حسابرسی رسمی خارجی دارد. تاخیر صدک 99 (p99) زمان به ازای هر توکن در آن برابر با 79.98 میلیثانیه در برابر سقف 80 میلیثانیه بود.
ناپایداری روی سختافزارهای جدید
همین گزارشها الگوی دیگری را نیز نشان میدهند. طبق گزارش joshua8.ai {{field joshua8 2026-01}}، یک کارت ورکاستیشن Blackwell تنها با فلگ --disable-cuda-graph توانست SGLang را اجرا کند. یک کلاستر ناهمگن هم به محض اضافه شدن یک کارت قدیمیتر با خطا متوقف شد، چون مسیر FP4 به قابلیت محاسباتی (compute capability) نسخهی 10.0 نیاز داشت. Pivot News این پست جامعهی کاربری را خلاصه کرده است {{field Pivot-News 2026-05}}. مسیرهای محاسباتی سریع به تفکیک نسلهای پردازندهی گرافیکی نوشته میشوند و مسیرهای باقی کارتها کمتر است. روی سختافزارهای تازهوارد، انتظار داشته باشید که اولین نسخهی SGLang کند باشد یا به مشکل بخورد؛ بنچمارکها را هر هفته تکرار کنید.
یافتههای ما روی سیستمهای خودمان
گزارشهای میدانی مشخص میکنند کدام سازوکارها ارزش تست دارند. ما آنها را روی یک DGX Spark با یک GB10 و روی ماشینی با دو پردازندهی 24 گیگابایتی L4 تست کردیم. هر ردیف جدول زیر به بخشی لینک دارد که شامل کدها، سیدها (seeds) و نمودار مربوطه است.
| کجا | چه چیزی را اجرا کردیم | نتیجه | سازوکار |
|---|---|---|---|
| L4 | پرامپت اشتراکی 4,096 توکنی، کش روشن و خاموش | میانهی TTFT برابر با 479 میلیثانیه در برابر 14,706 میلیثانیه، 4.3 برابر نرخ پردازش؛ اجرای با کش خاموش در فرکانس 930 مگاهرتز (زیر کف فرکانسی ما) انجام شد، بخش 3.3 | کش رادیکس |
| L4 | وزنها و حافظهی KV با فرمت FP8 در مقایسه با BF16 در 64 کاربر | 736 در برابر 251 توکن بر ثانیه، استخری با ظرفیت 142,369 توکن در برابر 24,094 توکن، بخش 4.3 | ظرفیت بیشتر KV به ازای هر گیگابایت |
| GB10 | روش EAGLE-3 روی مدل Qwen3-30B-A3B | کاهش 1.56 تا 1.89 برابری در زمان هر توکن، بیشترین مقدار در 16 تا 64 کاربر، بخش 4.4 | اعتبارسنجی در MoE وزنهای خواندهشدهی کارشناس را دوباره استفاده میکند |
| L4 | روش EAGLE-3 روی مدل متراکم Qwen3-8B | 2.37 برابر نرخ پردازش در 1 کاربر (با 19 درصد فرکانس پایینتر برای حالت پیشفرض)، و برابری (1.00) در 32 کاربر، بخش 4.4 | پیشنویس 59 درصد ظرفیت استخر را گرفت |
| جفت کارت L4 | استفاده از --dp-size 2 روی یک کارت مشترک |
42 در برابر 251 توکن بر ثانیه در 64 کاربر؛ اجرای جفتکارت در 675 مگاهرتز (زیر کف فرکانسی ما)، بخش 6.1 | الگوریتم Round-robin درخواست را به نسخهای فرستاد که یکهشتم استخر را داشت |
| L4 | نسخهی SGLang 0.5.22 در برابر vLLM 0.31.0 با استخر یکسان، 64 کاربر | 257 در برابر 241 توکن بر ثانیه، تاخیر P99 ITL برابر با 114 در مقابل 1,363 میلیثانیه، میانهی TTFT برابر با 18,356 در برابر 10,953 میلیثانیه، ادامهی متن | تفاوت دو گزینش پذیرش درخواست هنگام پر شدن استخر |
| L4 | همان جفت روی پرامپت اشتراکی 4,096 توکنی | 88.4 در برابر 86.8 توکن بر ثانیه، میانهی TTFT برابر با 474 در برابر 375 میلیثانیه، ادامهی متن | دو سیستم کش پیشوند (prefix caching) که هر دو به نتیجه رسیدند |
| L4 | همان جفت با نرخ 4 درخواست بر ثانیه (توزیع پواسون) | 257.5 در برابر 286.6 توکن بر ثانیه، تاخیر P99 TPOT برابر با 127 در برابر 187 میلیثانیه، ادامهی متن | همان گزینش پذیرش زیر بار با نرخ ورودی ثابت |
| L4 | همان جفت با طول پرامپتهای ترکیبی در 16 کاربر | 159.6 در برابر 169.6 توکن بر ثانیه، تاخیر P99 ITL برابر با 363 در برابر 191 میلیثانیه، ادامهی متن | نحوهی ترکیب پیشپرکنی با جریان خروجی در هر موتور |
| جفت کارت L4 | استفاده از --tp-size 2 روی یک کارت مشترک |
رد درخواست در مرحلهی راهاندازی، بخش 6.1 | بررسی توازن حافظه مانع اجرا شد |
| جفت کارت L4 | تفکیک پیشپرکنی و رمزگشایی روی TCP | بعد از دقیقهی سوم، همهی درخواستها با پاسخ خالی ولی با کد HTTP 200 برگشتند، بخش 6.3 | نشست تبادل داده قطع شد و بازیابی نشد |
بیشتر ردیفها از یک الگو پیروی میکنند: یک سازوکار زمانی در هر یک از دو موتور با اختلافی بزرگ برنده میشود که کارهای تکراری را حذف کند؛ مثل پیشپرکنی پرامپتهای اشتراکی و بایتهای هر توکن کششده. در مقابل، وقتی قابلیتی حافظهی مورد نیاز دسته را مصرف کند یا دو بخش از یک استقرار هماندازه نباشند، نتیجه افت میکند. هیچکدام از این شکستها در محیط اجرا (runtime) خطایی چاپ نکردند که در داشبورد دیده شود؛ دو مورد از آنها حتی در خلاصهی بنچمارک شبیه موفقیت به نظر میرسیدند.
مقایسهی SGLang در برابر vLLM روی همان کارت L4
همهی گزارشهای میدانی بالا دو موتوری را مقایسه میکنند که دیگران پیکربندی کردهاند. ما جفت آزمایشی خودمان را روی یک کارت L4 با Qwen/Qwen3-8B و پیمایش حلقهبسته (closed-loop) بخش 5.1 اجرا کردیم. سه تصمیم گرفتیم تا تنها متغیر، خود موتور باشد:
- استخر یکسان برای KV. سرور vLLM پارامتر
--num-gpu-blocks-override 1506را دریافت کرد که معادل 1,506 بلوک 16 توکنی است. SGLang نیز روی همان کارت به طور خودکار استخری با اندازهی 24,094 توکن برای خود در نظر گرفت. - وضعیت سختافزاری یکسان. هر دو موتور در یک نشست روی یک GPU اجرا شدند، و هر اجرا در دمای 72 درجهی سانتیگراد یا کمتر آغاز شد. هر آزمونی که میانهی کلاک هستههای محاسباتی (SM clock) آن زیر 1,000 مگاهرتز افت میکرد، کنار گذاشته شد و تا سه بار تکرار شد.
- حذف معلولیت تصادفی. سرور vLLM پارامتر
--max-model-len 8192را دریافت کرد که همهی درخواستها در آن جا میشوند، و همچنین فلگVLLM_USE_FLASHINFER_SAMPLER=0اعمال شد، چون نمونهگیر (sampler) فلاشاینفر در نصب ما کامپایل نشد. از آنجا که بنچمارک با استراتژی حریصانه (greedy) اجرا میشود، تعویض نمونهگیر خروجی را تغییر نمیدهد.
[2026-10-17 18:27:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-17 20:12:04] Decode batch, #running-req: 37, #token: 22162, token usage: 0.92, cuda graph: True, gen throughput (token/s): 432.55, #queue-req: 27استخر SGLang هنگام راهاندازی، و یک سطر رمزگشایی در سقف همزمانی 64.
INFO 10-17 20:13:17 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-17 22:35:43 [loggers.py:320] Engine 000: Avg prompt throughput: 460.3 tokens/s, Avg generation throughput: 323.6 tokens/s, Running: 40 reqs, Waiting: 11 reqs, GPU KV cache usage: 99.5%, Prefix cache hit rate: 8.7%استخر vLLM هنگام راهاندازی، و یک سطر آمار در سقف همزمانی 64.
| همروندی | خروجی tok/s (SGLang / vLLM) | میانهی TTFT (SGLang / vLLM) | تاخیر P99 ITL (SGLang / vLLM) | میانهی کلاک SM (SGLang / vLLM) |
|---|---|---|---|---|
| 1 | 13.84 / 13.51 | 185 / 192 میلیثانیه | 104 / 105 میلیثانیه | 1,290 / 1,290 مگاهرتز |
| 8 | 112.46 / 112.79 | 170 / 253 میلیثانیه | 71 / 68 میلیثانیه | 1,485 / 1,470 مگاهرتز |
| 16 | 201.13 / 200.90 | 212 / 289 میلیثانیه | 81 / 80 میلیثانیه | 1,470 / 1,425 مگاهرتز |
| 32 | 271.28 / 273.93 | 2,871 / 1,813 میلیثانیه | 102 / 619 میلیثانیه | 1,320 / 1,275 مگاهرتز |
| 64 | 256.62 / 241.39 | 18,356 / 10,953 میلیثانیه | 114 / 1,363 میلیثانیه | 1,215 / 1,013 مگاهرتز |
اندازهگیریهای ما برابری در نرخ پردازش را نشان داد. تا سطح همروندی 32 کاربر، دو موتور در محدودهی 3 درصد از یکدیگر بودند و زمان تولید هر توکن زیر 6 درصد اختلاف داشت. در 64 کاربر، میانهی زمان به ازای هر توکن در SGLang برابر با 106 میلیثانیه و در vLLM برابر با 129 میلیثانیه بود. پیش از نقطهای که استخر پر شود، SGLang اولین توکن را زودتر داد؛ 170 در برابر 253 میلیثانیه در 8 کاربر.
فراتر از این نقطه، دو موتور تصمیمات متفاوتی گرفتند و خطوط آمار هر دو را نشان میدهند. SGLang تعداد 37 درخواست را اجرا کرد و 27 مورد را در صف نگه داشت، در حالی که استخر 92 درصد پر بود. سرور vLLM تعداد 40 درخواست را اجرا کرد و 11 مورد را در انتظار گذاشت. این موتور 99.5 درصد استخرش را پر کرد، در حالی که پیشپرکنی پرامپتهای جدید را با سرعت 460 توکن بر ثانیه انجام میداد.
سرور vLLM پردازش درخواستهای بیشتری را آغاز کرد؛ در نتیجه اولین توکن آنها زودتر آمد. سپس هر پیشپرکنی جدید، گام محاسباتی را با رمزگشاییهای در حال اجرا شریک شد و باعث توقف جریان خروجی شد. در 64 کاربر، تاخیر صدک 99 فاصلهی بین توکنها (P99 ITL) در vLLM به 1,363 میلیثانیه رسید و در SGLang روی 114 میلیثانیه ماند.
نکتهی کلاک مربوط به همین ردیف آخر است. حتی بعد از سه بار تلاش، اجرای vLLM در 64 کاربر میانهی کلاک 1,013 مگاهرتز را در برابر 1,215 مگاهرتز برای SGLang ثبت کرد. بنابراین بخشی از اختلاف نرخ پردازش در 64 میتواند مربوط به کارت باشد. اما اختلاف 12 برابری در تاخیر بین توکنها آنقدر زیاد است که با 17 درصد تفاوت کلاک توجیه نمیشود.
مقایسهی همان جفت روی پرامپتهای اشتراکی
سپس پیمایش پیشوند از بخش 3.3 را با همان جفت، با همان استخرها و همان قاعدهی خنکسازی اجرا کردیم. در هر اجرا، 64 پرامپت در 4 دستهی 16تایی در همروندی 8 کاربر فرستاده شد. پرامپتهای هر دسته یک پرامپت سیستم مشترک بین 0 تا 4,096 توکن، یک پرسش 128 توکنی و 64 توکن خروجی داشتند. SGLang از کش رادیکس خود استفاده کرد. سرور vLLM از قابلیت prefix caching خود بهره برد که در نسخهی 0.31.0 به طور پیشفرض روشن است.
INFO 10-17 23:37:11 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 00:43:16 [loggers.py:320] Engine 000: Avg prompt throughput: 231.0 tokens/s, Avg generation throughput: 93.6 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 77.2%, Prefix cache hit rate: 87.2%استخر vLLM هنگام راهاندازی، و یک سطر آمار در 4,096 توکن اشتراکی.
لاگ SGLang نیز همین موضوع را با بیان خود نشان میدهد. در یک دستهی پیشپرکنی با 4,096 توکن اشتراکی، 12,952 توکن از کش آمد و 406 توکن جدید بود.
| توکنهای پرامپت اشتراکی | خروجی tok/s (SGLang / vLLM) | میانهی TTFT (SGLang / vLLM) | تاخیر P99 TTFT (SGLang / vLLM) |
|---|---|---|---|
| 0 | 113.5 / 113.8 | 354 / 408 میلیثانیه | 483 / 485 میلیثانیه |
| 256 | 110.9 / 111.5 | 470 / 488 میلیثانیه | 856 / 616 میلیثانیه |
| 1,024 | 105.7 / 106.0 | 466 / 396 میلیثانیه | 1,887 / 1,303 میلیثانیه |
| 2,048 | 100.4 / 100.2 | 441 / 410 میلیثانیه | 2,317 / 1,767 میلیثانیه |
| 4,096 | 88.4 / 86.8 | 474 / 375 میلیثانیه | 4,275 / 4,019 میلیثانیه |
اندازهگیریهای ما نشان داد نرخ پردازش برابر است؛ در تمامی طولهای مشترک اختلاف زیر 2 درصد بود. میانهی TTFT هر دو موتور بین 354 تا 488 میلیثانیه ماند. در 0 و 256 توکن اشتراکی، SGLang خارج از پراکندگی سیدها اولین توکن را زودتر داد: 354 در برابر 408 میلیثانیه و 470 در برابر 488 میلیثانیه. از 1,024 توکن به بعد، بازههای سیدها همپوشانی داشتند.
موتور vLLM در بخش انتهایی توزیع عملکرد بهتری داشت. مقدار P99 TTFT آن از 256 توکن اشتراکی به بعد پایینتر بود؛ 1,303 در برابر 1,887 میلیثانیه در 1,024 توکن. SGLang در 4,096 توکن زمان به ازای هر توکن کمتری داشت: 75.6 در برابر 80.8 میلیثانیه. میانهی کلاک SM در هر آزمایش 1,395 مگاهرتز یا بیشتر بود.
ابعاد واقعی نتیجه در سطر سوم مشخص میشود. با کش خاموش، یک اجرای مجزای SGLang برای میانهی اولین توکن در 4,096 توکن مشترک به 14,706 میلیثانیه زمان نیاز داشت. آن کارت زیر کف فرکانسی ما کار کرد. هر دو اجرای با کش زیر 500 میلیثانیه ماندند. تفاوت بین این دو کش حدود 100 میلیثانیه بود.
سپس سرور vLLM را با فلگ --no-enable-prefix-caching، با همان استخر و همان پیمایش اجرا کردیم. لاگ آن نشان میدهد کش خاموش است و هر توکن پرامپت دوباره پیشپرکنی میشود.
INFO 10-21 06:20:24 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-21 08:07:49 [loggers.py:320] Engine 000: Avg prompt throughput: 1607.0 tokens/s, Avg generation throughput: 6.4 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 76.7%استخر هنگام راهاندازی، و یک سطر آمار در 4,096 توکن اشتراکی. نرخ پردازش پرامپت بالاست چون چیزی بازاستفاده نمیشود.
| توکنهای پرامپت اشتراکی | میانهی TTFT با کش روشن / خاموش (SGLang) | میانهی TTFT با کش روشن / خاموش (vLLM) | خروجی tok/s در حالت کش خاموش (SGLang / vLLM) |
|---|---|---|---|
| 256 | 470 / 985 میلیثانیه | 488 / 753 میلیثانیه | 99.4 / 99.1 |
| 1,024 | 466 / 2,202 میلیثانیه | 396 / 1,213 میلیثانیه | 70.2 / 70.9 |
| 4,096 | 474 / 14,706 میلیثانیه | 375 / 13,353 میلیثانیه | 20.8 / 19.6 |
اندازهگیریهای ما همان ابعاد بهبود را در هر دو موتور نشان داد. در 4,096 توکن اشتراکی، کش میانهی زمان اولین توکن را حدود 31 برابر در SGLang و 36 برابر در vLLM کاهش داد. خروجی را 4.2 برابر در SGLang و 4.4 برابر در vLLM رساند. بدون کش، هر دو موتور در نرخ پردازش با اختلافی زیر 7 درصد برابر شدند.
بدون کش، سرور vLLM در پرامپتهای اشتراکی بین 256 تا 2,048 توکن، اولین توکن را زودتر تحویل داد. اجرای متناظر آن در SGLang در روز دیگری انجام شده بود. آزمون vLLM با کش خاموش در تاریخ 21-10-2026 ثبت شد، یعنی چهار روز پس از آزمون با کش روشن. اجراهای 4,096 توکن اشتراکی حتی بعد از سه بار تلاش زیر کف فرکانسی ما (در 930 و 675 مگاهرتز) ماندند؛ بنابراین به این ردیف به چشم مقیاس تغییرات نگاه کنید، نه یک عدد دقیق.
مقایسهی همان جفت در نرخ ورودی ثابت
یک حلقهی بسته تنها زمانی درخواست جدید میفرستد که پاسخ درخواست قبلی برگردد؛ بنابراین موتور سرعت را تعیین میکند. ترافیک محیط عملیاتی (production) منتظر موتور نمیماند. ما سناریوی نرخ از بخش 5.1 را روی همان جفت، با همان استخرها و همان قوانین دما و کلاک اجرا کردیم. درخواستها با نرخ پواسون بین 0.5 تا 16 در ثانیه، با 512 توکن ورودی و 128 توکن خروجی رسیدند. هر تست حداقل 32 پرامپت یا 30 ثانیه ترافیک ورودی را شامل میشد.
[2026-10-18 00:43:57] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 03:13:55] Decode batch, #running-req: 37, #token: 22424, token usage: 0.93, cuda graph: True, gen throughput (token/s): 370.33, #queue-req: 71استخر SGLang هنگام راهاندازی، و یک سطر رمزگشایی همراه با درخواستهای منتظر.
INFO 10-18 03:15:35 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 06:10:22 [loggers.py:320] Engine 000: Avg prompt throughput: 1326.7 tokens/s, Avg generation throughput: 158.4 tokens/s, Running: 43 reqs, Waiting: 30 reqs, GPU KV cache usage: 99.7%, Prefix cache hit rate: 0.6%استخر vLLM هنگام راهاندازی، و یک سطر آمار همراه با درخواستهای منتظر.
| درخواست بر ثانیه | خروجی tok/s (SGLang / vLLM) | میانهی TTFT (SGLang / vLLM) | میانهی TPOT (SGLang / vLLM) | تاخیر P99 TPOT (SGLang / vLLM) | میانهی کلاک SM (SGLang / vLLM) |
|---|---|---|---|---|---|
| 0.5 | 70.6 / 70.6 | 284 / 317 میلیثانیه | 74.7 / 72.7 میلیثانیه | 81 / 78 میلیثانیه | 1,485 / 1,485 مگاهرتز |
| 1 | 123.3 / 123.6 | 166 / 180 میلیثانیه | 74.0 / 68.2 میلیثانیه | 76 / 69 میلیثانیه | 1,500 / 1,485 مگاهرتز |
| 2 | 226.3 / 227.8 | 221 / 233 میلیثانیه | 99.9 / 88.7 میلیثانیه | 120 / 109 میلیثانیه | 1,433 / 1,418 مگاهرتز |
| 4 | 257.5 / 286.6 | 9,575 / 8,304 میلیثانیه | 115.1 / 126.9 میلیثانیه | 127 / 187 میلیثانیه | 1,350 / 1,245 مگاهرتز |
| 8 | 253.9 / 261.8 | 37,211 / 27,510 میلیثانیه | 105.2 / 126.0 میلیثانیه | 151 / 248 میلیثانیه | 1,215 / 1,035 مگاهرتز |
| 16 | 218.2 / 205.8 | 97,542 / 94,322 میلیثانیه | 115.2 / 185.2 میلیثانیه | 189 / 322 میلیثانیه | 600 / 450 مگاهرتز |
اندازهگیریهای ما تا نرخ 2 درخواست بر ثانیه برابری را نشان داد. هر دو موتور همپای ترافیک ورودی پیش رفتند، بنابراین نرخ پردازش در محدودهی 1 درصد یکسان بود. SGLang در نرخهای 0.5 و 1 بر ثانیه، خارج از پراکندگی سیدها اولین توکن را سریعتر تحویل داد. میانهها 284 در برابر 317 میلیثانیه و 166 در برابر 180 میلیثانیه بود. vLLM زمان به ازای هر توکن (TPOT) کمتری داشت؛ در نرخ 1 بر ثانیه این مقدار 68 در برابر 74 میلیثانیه (خارج از پراکندگی) و در 2 بر ثانیه 89 در برابر 100 میلیثانیه ثبت شد.
نرخ پردازش موثر (Goodput) معنای این تفاوت را برای یک شاخص هدف نشان میدهد. ما هدف را 1 ثانیه تا اولین توکن و 100 میلیثانیه برای هر توکن بعدی تعریف کردیم. در 2 درخواست بر ثانیه، vLLM میانهی 1.36 درخواست بر ثانیه را در این چارچوب هدف پاسخ داد و SGLang به 0.88 رسید. دامنهی سیدها همپوشانی داشت؛ 1.09 تا 1.44 در برابر 0.54 تا 1.18. میانهی زمان به ازای هر توکن در SGLang دقیقاً روی مرز هدف، یعنی 99.9 میلیثانیه قرار گرفت.
از 4 درخواست بر ثانیه به بعد، هر دو موتور از ترافیک ورودی عقب افتادند و هیچ درخواستی به این هدف نرسید. خطوط آمار همان رفتار گزینش پذیرش را نشان میدهند که در سناریوی حلقهبسته دیدیم: SGLang تعداد 37 درخواست را با اشغال 93 درصدی استخر در حال اجرا نگه داشت. سرور vLLM تعداد 43 درخواست را اجرا کرد و 99.7 درصد از استخرش پر شد.
در نرخ 4 بر ثانیه، vLLM با ثبت 286.6 در برابر 257.5 توکن بر ثانیه، 11 درصد نرخ پردازش بهتری داشت که فراتر از بازهی پراکندگی سیدها بود. میانهی اولین توکن آن در 8.3 در برابر 9.6 ثانیه آمد، اما دامنهی آن سیدها همپوشانی داشت. بهای این تغییر در جریان خروجی مشخص شد: تاخیر P99 زمان به ازای هر توکن آن به 187 در برابر 127 میلیثانیه رسید که خارج از دامنهی پراکندگی بود.
کلاک پردازنده اختلاف در نرخ 4 را توجیه نمیکند. اجراهای vLLM کلاک میانهی پایینتری داشتند (1,245 در برابر 1,350 مگاهرتز). در 8 درخواست بر ثانیه، بازههای نرخ پردازش همپوشانی پیدا کردند. در 16 بر ثانیه، همهی اجراهای هر دو موتور حتی بعد از سه بار تلاش زیر 1,000 مگاهرتز ماندند؛ بنابراین این ردیف را مقایسه نمیکنیم.
مقایسهی همان جفت روی ترافیک موجی
آخرین باری که تست کردیم، الگوی بخش 5.1 است که درخواستها را در قالب موج وارد میکند. در هر بار، 64 پرامپت 512 توکنی با 128 توکن خروجی و با سقف 16 کاربر فرستاده شد. تنها متغیری که تغییر کرد --random-range-ratio بود. در نسبت 1.0 همهی پرامپتها طول یکسانی دارند؛ در نتیجه درخواستها با هم تمام میشوند و جایگزینهای آنها نیز موجی و همزمان میرسند. در 0.5 و 0.0 طولها متغیر است، بنابراین درخواستها یکییکی وارد میشوند.
INFO 10-18 18:38:07 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x
INFO 10-18 19:14:22 [loggers.py:320] Engine 000: Avg prompt throughput: 960.0 tokens/s, Avg generation throughput: 187.3 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 22.6%, Prefix cache hit rate: 8.5%استخر vLLM هنگام راهاندازی، و یک سطر آمار با 16 درخواست فعال.
| نسبت طول ورودی | خروجی tok/s (SGLang / vLLM) | میانهی TTFT (SGLang / vLLM) | میانهی TPOT (SGLang / vLLM) | تاخیر P99 ITL (SGLang / vLLM) |
|---|---|---|---|---|
| 1.0، طول ثابت | 182.3 / 181.7 | 1,775 / 1,499 میلیثانیه | 74.7 / 76.8 میلیثانیه | 81 / 502 میلیثانیه |
| 0.5، ترکیبی | 159.6 / 169.6 | 325 / 353 میلیثانیه | 87.8 / 81.4 میلیثانیه | 363 / 191 میلیثانیه |
| 0.0، ترکیبی | 158.2 / 174.4 | 283 / 284 میلیثانیه | 86.7 / 75.0 میلیثانیه | 302 / 202 میلیثانیه |
اندازهگیریهای ما نشان داد برای هر الگوی ترافیک، برندهی متفاوتی وجود دارد. با طولهای ثابت، نرخ پردازش دو موتور برابر شد. آنها همان مبادلهی شرایط استخر پر را تکرار کردند: سرور vLLM اولین توکن را زودتر داد (1,499 در برابر 1,775 میلیثانیه، خارج از پراکندگی سیدها). SGLang جریان خروجی را یکدست نگه داشت، با P99 ITL معادل 81 در برابر 502 میلیثانیه.
با طولهای ترکیبی، برتری با vLLM بود. در نسبت 0.5 با ثبت 169.6 در برابر 159.6 توکن بر ثانیه، 6 درصد خروجی بهتری خارج از بازهی سیدها ثبت کرد. میانهی زمان هر توکن آن 81.4 در برابر 87.8 میلیثانیه و تاخیر P99 ITL آن 191 در برابر 363 میلیثانیه بود. در 0.0 بازههای نرخ پردازش همپوشانی داشتند و vLLM همچنان زمان کمتری برای هر توکن و P99 ITL پایینتری ثبت کرد. کلاک میانه در همهی آزمایشها 1,410 مگاهرتز یا بیشتر ماند.
برداشت ما: وقتی پرامپتهای جدید یکییکی میرسند، هر پیشپرکنی با رمزگشاییهای در حال اجرا در یک گام قرار میگیرد. سرور vLLM این کار را طوری تقسیم کرد که جریان خروجی کمتر دچار توقف شود.
برای ارزیابی این برداشت، SGLang را در تاریخ 21-10-2026 بار دیگر با فلگ --enable-mixed-chunk، با همان پیمایش و همان استخر اجرا کردیم. این فلگ رمزگشاییهای در حال اجرا را داخل دستهی پیشپرکنی میگذارد تا ورود یک پرامپت جدید، جریان خروجی را متوقف نکند. لاگ، اجرای یک پیشپرکنی 514 توکنی را همزمان با ادامهی 15 درخواست دیگر در همان دسته نشان میدهد.
[2026-10-21 08:34:19] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-21 08:39:51] Decode batch, #running-req: 16, #token: 8889, token usage: 0.37, cuda graph: True, gen throughput (token/s): 231.46, #queue-req: 0
[2026-10-21 08:40:22] Prefill batch, #new-seq: 1, #new-token: 514, #cached-token: 0, token usage: 0.34, #running-req: 15, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 2569.89استخر هنگام راهاندازی، یک گام رمزگشایی با 16 کاربر، و یک پیشپرکنی که همزمان با 15 رمزگشایی اجرا شد.
| نسبت طول ورودی | خروجی tok/s (SGLang با تکهی ترکیبی / vLLM) | میانهی TPOT (SGLang با تکهی ترکیبی / vLLM) | تاخیر P99 ITL (SGLang پیشفرض / تکهی ترکیبی / vLLM) |
|---|---|---|---|
| 1.0، طول ثابت | 182.3 / 181.7 | 73.1 / 76.8 میلیثانیه | 81 / 203 / 502 میلیثانیه |
| 0.5، ترکیبی | 171.8 / 169.6 | 80.8 / 81.4 میلیثانیه | 363 / 193 / 191 میلیثانیه |
| 0.0، ترکیبی | 171.9 / 174.4 | 76.8 / 75.0 میلیثانیه | 302 / 196 / 202 میلیثانیه |
اندازهگیریهای ما نشان داد که تکهی ترکیبی (mixed chunk) این فاصله را بست. با طولهای ترکیبی، SGLang در نرخ پردازش، زمان به ازای هر توکن و تاخیر P99 ITL به پای vLLM رسید و بازهی همهی سیدها همپوشانی داشت. در مقایسه با SGLang بدون این فلگ، تاخیر P99 ITL در 0.5 از 363 به 193 میلیثانیه و در 0.0 از 302 به 196 میلیثانیه کاهش یافت. حجم خروجی حدود 8 درصد رشد کرد.
این فلگ در طولهای ثابت هزینهای هم داشت. میانهی P99 ITL از 81 به 203 میلیثانیه افزایش یافت و سه سید بین 83 تا 349 میلیثانیه پراکنده شدند. وقتی یک موج به طور کامل میرسد، پیشپرکنیها مراحل را با رمزگشاییها شریک میشوند؛ در نتیجه جریان خروجی آن فواصل تمیز قبلی را از دست میدهد. البته سرور vLLM در آنجا همچنان وضعیت بدتری داشت (502 میلیثانیه).
کارت GB10 با مدل Qwen3-30B-A3B، در مقایسه با اجرای پیشفرض در همان روز، در همان جهت حرکت کرد؛ اما همهی تغییرات داخل بازهی پراکندگی سیدها بود. با طولهای متغیر، میانهی P99 ITL در 0.5 از 198 به 164 میلیثانیه و در 0.0 از 214 به 202 میلیثانیه رسید. با طولهای ثابت، از 159 به 210 میلیثانیه رفت. این فلگ همچنین میانهی TTFT را در 0.0 از 324 به 442 میلیثانیه رساند که خارج از بازهی پراکندگی بود. به دادههای GB10 به چشم یک نشانهی کمرنگ دوم نگاه کنید، نه یک اثبات (proof) دوم.
یک نکتهی آزمایشی وجود دارد: اجرای پیشفرض SGLang روی L4 مربوط به تاریخ 18-10-2026 بود، سه روز قبل از اجرای تکهی ترکیبی. کلاکهای میانه با این فلگ بین 1,425 تا 1,508 مگاهرتز و بدون آن بین 1,440 تا 1,485 مگاهرتز بودند. کلاک پردازنده این اختلاف را توجیه نمیکند.
این نتایج حاصل یک مدل، یک GPU و چهار الگوی بار کاری است. این دادهها در نکتهی اصلی با گزارشهای میدانی همخوانی دارند: روی یک مدل متراکم با پرامپتهای یکتا، نرخ پردازش دو موتور در حلقهی بسته تا 32 کاربر در محدودهی 3 درصد بود. زیر بار سنگین، اختلاف آنها به 11 درصد رسید.
این پیمایش بخشی را نشان میدهد که نمودار نرخ پردازش پنهان میکند: وقتی استخر پر است، باید بین اولین توکن سریع و جریان خروجی یکدست یکی را انتخاب کنید؛ دو موتور به طور پیشفرض انتخابهای متفاوتی داشتند. با پرامپتهای ناهمگون، vLLM بهصورت پیشفرض در نرخ پردازش و یکدستی جریان خروجی جلوتر بود. SGLang همچنان توکن اول را همزمان یا زودتر میداد. یک فلگ SGLang، یعنی --enable-mixed-chunk، آن برتری را از بین برد.
برای بررسی چرایی تفاوت اعداد میان کارتهای مختلف GPU، ابزار Inside an LLM Serving GPU را اجرا کنید. این ابزار اندازهی استخرها، زمان هر گام و نرخهای پردازش را از همان دادههای خلاصه در این بخش برای L4 و GB10 میخواند و در صورتی که تنظیمی تست نشده باشد، آن را مشخص میکند.
دیدگاه ما
روی کارت L4 ما با مدل Qwen3-8B و پرامپتهای یکتا، انتخاب موتور تا حد زیادی تصمیمی بر سر نرخ پردازش نبود. این انتخاب یک تصمیمگیری دربارهی تاخیر (latency) بود و الگوی ترافیک برندهی آن را مشخص میکرد. وقتی درخواستها همزمان میرسیدند (در استخر پر یا در قالب امواج)، SGLang از جریان خروجی محافظت میکرد و vLLM از توکن اول. وقتی پرامپتهایی با طولهای متفاوت یکییکی وارد میشدند، vLLM بهصورت پیشفرض در نرخ پردازش و یکدستی جریان جلو بود. با روشن بودن تکهی ترکیبی، SGLang با آن برابر شد.
در 4 درخواست بر ثانیه، فراتر از نقطهی پر شدن استخر، vLLM روی L4 ما 11 درصد خروجی بیشتری تولید کرد. در 8 درخواست بر ثانیه، بازههای سیدها همپوشانی داشتند. بر اساس پشتیبانی از مدل، زمان راهاندازی و سختافزاری که دارید تصمیم بگیرید، سپس ترکیب طول پرامپتهای خودتان را بسنجید.
برای پیشوندهای تکراری، مطمئن شوید که کش پیشوند روشن است، سپس اندازه بگیرید. روی L4 ما، با پیشوندهایی که در استخر جا میشدند، هر دو کش زیر 500 میلیثانیه به نتیجهی برابر رسیدند. با کش خاموش، SGLang به 14,706 میلیثانیه و vLLM به 13,353 میلیثانیه زمان نیاز داشتند. عامل تعیینکننده خودِ کش است، نه موتور. برای مدلهای MoE همرده با DeepSeek روی چندین GPU، از SGLang شروع کنید؛ چون اهالی این حوزه در عمل آنها را روی همین بستر اجرا میکنند.
مهمتر از همه: هیچ نتیجهای را کورکورانه نپذیرید. پیمایش بخش 5.1 را روی بار کاری خودتان اجرا کنید. یک عدد منتشرشده فقط به شما میگوید کدام سازوکار را تست کنید، و نه چیز دیگر.
مرور رخدادها
نتیجهی نادرست حافظه به دلیل اشتباه در نام فلگ. در گفتوگوی شمارهی 17221 در گیتهاب vLLM، کاربری گزارش کرد که SGLang تنها 7 گیگابایت مصرف کرده، در حالی که vLLM روی همان کارت A10 مقدار 21 گیگابایت حافظه گرفته است {{field vLLM-discussion 2025-04}}. او سپس متوجه شد که فلگ متناظر با --max-model-len در vLLM، پارامتر --context-length است نه --max-total-tokens. با فلگ درست، مصرف حافظه تقریباً یکسان بود.
توصیهای که دیگر کار نمیکند. گزارشهای میدانی سال 2026 توصیه میکنند سقف گراف رمزگشایی را با --cuda-graph-max-bs بالا ببرید. در نسخهی v0.5.22 این فلگ به --cuda-graph-max-bs-decode و --cuda-graph-max-bs-prefill تقسیم شده است. کد شکل نوشتاری قدیمی را رد میکند. پردازندهی آرگومانهای sglang serve با این پیام متوقف میشود: ambiguous option: --cuda-graph-max-bs could match --cuda-graph-max-bs-decode, --cuda-graph-max-bs-prefill. یک دستورالعمل تنظیم عملکرد به همان اندازهی یک بنچمارک به نسخهی خود وابسته است.
عدد بازیافتی. اختلاف 29 درصدی ابتدای این بخش در تاریخ 04-08-2026 به علت تفاوت نسخهها از سوی DeepInfra مورد انتقاد قرار گرفت {{field DeepInfra 2026-08}}. نویسنده در تاریخ 14-10-2026 پاسخ داد که این نتیجه به کانتکست طولانی تعمیم پیدا نمیکند {{field AIMultiple 2026-10}}. تیم SGLang در سال 2024 ادعای بزرگتری داشت: تا 3.1 برابر نرخ پردازش روی Llama-70B {{team 2024-07}}. هیچ گزارش مستقلی در این پژوهش نتوانست چنین اختلافی را روی یک مدل متراکم با پرامپتهای یکتا بازتولید کند.
منابع: فایلهای python/sglang/srt/arg_groups/memory_hook.py (لایههای حافظهی GPU)، python/sglang/srt/arg_groups/fields/exec_.py (فلگ cuda_graph_max_bs_decode)، python/sglang/srt/arg_groups/fields/schedule.py، همگی در نسخهی v0.5.22 (کامیت baa9befa)؛ گزارشهای میدانی لینکشده در متن، دریافتشده در تاریخ 16-10-2026؛ aimultiple.com/inference-engines؛ deepinfra.com/blog/vllm-vs-sglang؛ lmsys.org/blog/2024-07-25-sglang-llama3؛ inferencex.semianalysis.com/blog/mi355x-deepseek-v4-pro-sglang-110x-in-26-days؛ لاگهای capture/gpu/out-l4/server-h2h-sglang.log، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/out-l4/server-h2h-prefix-sglang.log، capture/gpu/out-l4/server-h2h-prefix-vllm.log، capture/gpu/out-l4/server-h2h-rate-sglang.log، capture/gpu/out-l4/server-h2h-rate-vllm.log، capture/gpu/out-l4/server-h2h-waves-vllm.log، capture/gpu/summary/l4.json، اسکریپت capture/gpu/sweep.py (کانفیگهای vllm و sglang-h2h)، capture/gpu/incidents/l4-vllm-flashinfer-jit.txt؛ لاگهای capture/gpu/out-l4/server-h2h-prefix-vllm-no-cache.log، capture/gpu/summary/l4.json (شاخص prefix.vllm-no-prefix-cache)؛ capture/gpu/out-l4/server-waves-mixed-chunk.log، capture/gpu/summary/l4.json (شاخص waves.mixed-chunk) و capture/gpu/summary/gb10.json (شاخصهای waves.mixed-chunk و waves.graphs-on-b).