این صفحه سختافزارها، نسخهها، سیدها (seeds)، فرکانسها و جدولهای کامل هر اندازهگیری را ثبت کرده است.
از این صفحه برای بررسی اعداد بخشهای دیگر یا تکرار یک آزمایش استفاده کنید.
روششناسی
-
سختافزار و نسخهها. صفحهی نسخههای ثابتشده فهرست کامل آنها را آورده است.
-
کلاینت. همهی اجراها با کلاینت بنچمارک SGLang 0.5.22 انجام شدهاند. در اجراهای vLLM گزینهی
--backend vllmبه کار رفت که هر درخواست را به/v1/completionsمیفرستد. کلاینت ابتدا یک درخواست برای گرمکردن (warmup) ارسال میکند و از سرور میخواهد توکن پایان توالی (end-of-sequence) را نادیده بگیرد، مگر اینکه گزینهی--disable-ignore-eosرا داده باشید. دیتاست تصادفی آن، متن چت واقعی را بسته به طول درخواستی برش میدهد یا تکرار میکند. صفحهی بنچمارک دستور کامل را نشان میدهد. -
امواج (Waves). در این بار کاری، 64 پرامپت به سمت 16 کاربر ارسال میشود. نسبت طول (length ratio) مشخص میکند طول پرامپت و طول خروجی چقدر نوسان داشته باشند. در نسبت 1.0، طول پرامپت همهی درخواستها 512 توکن و طول خروجی آنها 128 توکن است. در نسبت 0، طول هر پرامپت و خروجی بهصورت تصادفی از 1 توکن تا سقف این مقدار تعیین میشود.
-
سیدها. در اجراهای تا تاریخ 2026-10-21 از سیدهای 1، 2 و 3 استفاده شد. بیشتر اجراهای 2026-10-22 با سیدهای 1 و 2 انجام شدند که تعدادشان در جدولها آمده است. اعداد داخل جدولها میانه (median) هستند و در برخی ستونها کمترین و بیشترین مقدار هم قید شده است.
-
تنظیمات سرور. ابزار اجرای خودکار تستها (sweep tool) هر سرور vLLM را با
VLLM_USE_FLASHINFER_SAMPLER=0اجرا میکند، چرا که نمونهگیر (sampler) FlashInfer روی کارت L4 ما کامپایل نمیشود. این ابزار همچنین فلگهای--seed 0،--max-model-len،--num-gpu-blocks-overrideو--gpu-memory-utilizationرا تنظیم میکند. در کارت L4 مقادیر 8,192 توکن، 1,506 بلوک و نسبت 0.9 به کار رفت. کارت GB10 از 8,192 توکن، 14,685 بلوک و نسبت 0.75 استفاده کرد. در پردازندهی گرافیکی اشتراکی L4 مقادیر 2,048 یا 2,304 توکن، 183 بلوک و 0.83 تنظیم شد. اجرای مربوط به استخر کوچک (small-pool) نیز با 4,096 توکن و 410 بلوک صورت گرفت. -
گرد کردن اعداد. در جدولها و بخشهای مختلف، یک قاعده رعایت شده است: مقادیر اعشاری فایل خلاصه گرد میشوند و اعشار 0.5 به بالا میرود؛ بنابراین 1,012.5 بهصورت 1,013 نشان داده میشود.
-
استخرها (Pools). روی L4، فریمورک vLLM با فلگ
--num-gpu-blocks-override 1506و استخری با ظرفیت 24,096 توکن در برابر 24,094 توکن برای SGLang اجرا شد. روی GB10، فریمورک vLLM با 14,685 بلوک و استخری به ظرفیت 234,960 توکن اجرا شد. ظرفیت استخرهای SGLang روی GB10 به این ترتیب بود: 233,303 توکن برای بار کاری یکنواخت (load)، 234,958 برای امواج و 251,910 برای پرامپتهای ترکیبی. -
فرکانسها (Clocks). یک نمونهگیر، فرکانس SM و دمای کارت را هر ثانیه ثبت میکرد. ابزار sweep میتواند پیش از شروع اجرای بعدی منتظر بماند تا GPU خنک شود. همچنین اگر میانهی فرکانس به زیر حداقل فرکانس مجاز (clock floor) تعیینشده برای آزمایش افت کند، ابزار میتواند آن آزمایش را دوباره اجرا کند. ستون فرکانس، نتیجهی نهایی هر نقطه را نشان میدهد. در تاریخ 2026-10-22، در اغلب اجراها فرکانس SM با دستور
nvidia-smi -lgcروی 900 MHz قفل شده بود. قفل فرکانس حداکثر مقدار را تعیین میکند، اما در دمای بالا، GPU همچنان افت فرکانس پیدا میکند و پایینتر از سقف میآید. در بخشهای متن، دو نقطه را فقط در فرکانسهای مشابه با هم مقایسه کردهایم و مواردی که فرکانس به زیر مقدار قفل افت کرده یا آزمایش در نشستی با افت حرارتی (throttled) اجرا شده، مشخص شدهاند. -
تاریخها. تستهای بار L4 برای
vllmوsglangدر تاریخ 2026-10-17 و تستهای بارvllm-b،vllm-async،vllm-eagerوvllm-seqs-16در تاریخ 2026-10-21 انجام شدند. تستهای نرخ درخواست و امواج L4 در 2026-10-18 ثبت شدند. تستهای پیشوند L4 با کش فعال، از 2026-10-17 تا 2026-10-18 ادامه داشت و اجرای بدون کش پیشوند در 2026-10-21 صورت گرفت. همهی تستهای GB10 این جدولها در تاریخ 2026-10-21 انجام شدند. تمام اجراهای جدولهای سهگانهی L4 برای 2026-10-22 در همان روز اجرا شدند. تستهای انجامشده روی GPU اشتراکی نود L4، استخری با ظرفیت 2,928 توکن داشتند؛ از این رو تنها برای 1 و 4 کاربر آزمایش شدند. -
کش در تغییر تعداد کاربران. در جدولهای تست بار پیش از تاریخ 2026-10-23، برای هر کانفیگ یک سرور حفظ میشد و کش پیشوند (prefix cache) بین تعداد کاربران ریست نمیشد. هر سید، در هر تعداد کاربر پرامپتهای اولیهی یکسانی میفرستاد. در تستهای زیر 32 کاربر، زمان ثبتشده برای توکن اول در این جدولها بیش از حد سریع است (3.6 تا 5.3 برابر سریعتر برای vLLM روی کارت L4 ما). در اجرای مجددِ 2026-10-23، کش قبل از هر تست ریست میشود و صفحهی بنچمارک این دو حالت را مقایسه میکند.
-
اجراهای تاریخ 2026-10-23. تستهای L4 در این روز روی GPU اول با فرکانس قفلشده در 900 MHz انجام شد. در هر آزمایش، ابتدا کش ریست میشد و کار با دو سید پیش میرفت. کارت بیش از حد داغ شد و به همین دلیل فرکانس بسیاری از اجراها به زیر مقدار قفل افت کرد. فایلهای شواهد (evidence) میانهی فرکانس سطرهای خود را قید کردهاند و در متن گزارش، تنها سطرهای دارای فرکانس 900 MHz با یکدیگر مقایسه شدهاند.
آزمایشهای اجرانشده
این آزمایشها در برنامه هستند اما هنوز در این جدولها نیامدهاند:
- پارامتر
--max-num-batched-tokensروی مقادیر 512، 2048 و 16384 برای پرامپتهای ترکیبی در L4. نتایج مقادیر 2048 و 16384 برای GB10 ثبت شده است. - گزینهی
-O1روی L4. - مقایسهی دو فریمورک با یک نوع دادهی مشترک برای کش کلید-مقدار (KV data type).
جدولها
کانفیگ vllm-async فلگ --async-scheduling را اضافه میکند. در این مدلها بدون به کار بردن گمانهزنی (speculation)، این مقدار پیشفرض است؛ بنابراین کانفیگ vllm-async در عمل تکرار دوم تنظیمات خط مبنا (baseline) روی هر دو سرور است.
کارت L4، تست بار: کاربران همزمان، 512 توکن پرامپت و 128 توکن خروجی
| کاربران | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 1 | vllm |
13.5 (13.5 تا 13.5) | 192 ms | 60.4 ms | 105 (104 تا 105) ms | 1,290 MHz |
| 1 | sglang |
13.8 (13.7 تا 14.1) | 185 ms | 60.2 ms | 104 (104 تا 104) ms | 1,290 MHz |
| 1 | vllm-b |
13.5 (13.1 تا 13.8) | 191 ms | 60.4 ms | 105 (104 تا 105) ms | 1,275 MHz |
| 1 | vllm-async |
13.3 (13.1 تا 13.6) | 191 ms | 60.4 ms | 105 (104 تا 105) ms | 1,268 MHz |
| 1 | vllm-eager |
13.2 (13.1 تا 13.4) | 190 ms | 61.1 ms | 107 (107 تا 107) ms | 1,290 MHz |
| 1 | vllm-seqs-16 |
13.4 (13.1 تا 13.6) | 190 ms | 60.4 ms | 105 (105 تا 105) ms | 1,275 MHz |
| 2 | vllm |
31.3 (31.3 تا 31.3) | 132 ms | 63.4 ms | 64 (64 تا 64) ms | 1,500 MHz |
| 2 | sglang |
31.2 (31.2 تا 31.2) | 116 ms | 63.7 ms | 65 (65 تا 65) ms | 1,500 MHz |
| 2 | vllm-b |
31.3 (31.3 تا 31.3) | 132 ms | 63.4 ms | 64 (64 تا 64) ms | 1,500 MHz |
| 2 | vllm-async |
31.3 (31.3 تا 31.3) | 132 ms | 63.4 ms | 64 (64 تا 64) ms | 1,500 MHz |
| 2 | vllm-eager |
30.8 (30.7 تا 30.8) | 141 ms | 64.5 ms | 65 (65 تا 65) ms | 1,515 MHz |
| 2 | vllm-seqs-16 |
31.3 (31.3 تا 31.3) | 132 ms | 63.4 ms | 65 (64 تا 65) ms | 1,500 MHz |
| 4 | vllm |
61.8 (61.8 تا 61.8) | 141 ms | 64.1 ms | 65 (65 تا 65) ms | 1,515 MHz |
| 4 | sglang |
61.6 (61.5 تا 61.6) | 137 ms | 64.4 ms | 67 (65 تا 67) ms | 1,530 MHz |
| 4 | vllm-b |
61.8 (61.8 تا 61.8) | 142 ms | 64.1 ms | 65 (65 تا 66) ms | 1,560 MHz |
| 4 | vllm-async |
61.8 (61.8 تا 61.8) | 141 ms | 64.1 ms | 65 (65 تا 65) ms | 1,515 MHz |
| 4 | vllm-eager |
60.7 (60.7 تا 60.7) | 143 ms | 65.3 ms | 66 (66 تا 66) ms | 1,560 MHz |
| 4 | vllm-seqs-16 |
61.6 (61.3 تا 61.6) | 142 ms | 64.3 ms | 65 (65 تا 66) ms | 1,515 MHz |
| 8 | vllm |
112.8 (112.8 تا 112.9) | 253 ms | 65.8 ms | 68 (68 تا 70) ms | 1,470 MHz |
| 8 | sglang |
112.5 (112.4 تا 112.6) | 170 ms | 66.1 ms | 71 (70 تا 73) ms | 1,485 MHz |
| 8 | vllm-b |
112.8 (112.7 تا 112.8) | 253 ms | 65.8 ms | 67 (67 تا 68) ms | 1,485 MHz |
| 8 | vllm-async |
112.7 (112.6 تا 112.8) | 261 ms | 65.8 ms | 67 (67 تا 68) ms | 1,500 MHz |
| 8 | vllm-eager |
111.2 (111.2 تا 111.4) | 206 ms | 67.0 ms | 68 (68 تا 68) ms | 1,515 MHz |
| 8 | vllm-seqs-16 |
112.5 (112.4 تا 112.6) | 260 ms | 65.9 ms | 67 (67 تا 67) ms | 1,485 MHz |
| 16 | vllm |
200.9 (200.5 تا 201.2) | 289 ms | 69.5 ms | 80 (80 تا 105) ms | 1,425 MHz |
| 16 | sglang |
201.1 (201.1 تا 201.2) | 212 ms | 70.1 ms | 81 (81 تا 82) ms | 1,470 MHz |
| 16 | vllm-b |
201.3 (200.9 تا 201.3) | 288 ms | 69.5 ms | 85 (81 تا 89) ms | 1,455 MHz |
| 16 | vllm-async |
201.4 (200.8 تا 201.5) | 284 ms | 69.5 ms | 85 (79 تا 87) ms | 1,425 MHz |
| 16 | vllm-eager |
198.4 (198.2 تا 198.4) | 278 ms | 71.1 ms | 80 (80 تا 85) ms | 1,455 MHz |
| 16 | vllm-seqs-16 |
200.9 (200.6 تا 201.1) | 288 ms | 69.7 ms | 80 (79 تا 86) ms | 1,440 MHz |
| 32 | vllm |
273.9 (273.8 تا 274.4) | 1,813 ms | 102.2 ms | 619 (612 تا 622) ms | 1,275 MHz |
| 32 | sglang |
271.3 (270.3 تا 272.2) | 2,871 ms | 96.8 ms | 102 (102 تا 103) ms | 1,320 MHz |
| 32 | vllm-b |
275.1 (274.8 تا 275.2) | 1,800 ms | 101.8 ms | 613 (608 تا 614) ms | 1,275 MHz |
| 32 | vllm-async |
275.3 (273.8 تا 275.3) | 1,807 ms | 102.1 ms | 613 (611 تا 619) ms | 1,275 MHz |
| 32 | vllm-eager |
273.2 (272.4 تا 273.3) | 1,768 ms | 103.1 ms | 600 (595 تا 601) ms | 1,313 MHz |
| 32 | vllm-seqs-16 |
171.8 (171.3 تا 172.5) | 12,330 ms | 81.1 ms | 595 (587 تا 603) ms | 1,365 MHz |
| 64 | vllm |
241.4 (241.4 تا 246.4) | 10,953 ms | 129.2 ms | 1,363 (1,204 تا 1,436) ms | 1,013 MHz |
| 64 | sglang |
256.6 (255.8 تا 260.5) | 18,356 ms | 106.2 ms | 114 (114 تا 118) ms | 1,215 MHz |
| 64 | vllm-b |
242.3 (242.0 تا 243.8) | 11,181 ms | 129.2 ms | 1,233 (1,187 تا 1,437) ms | 1,005 MHz |
| 64 | vllm-async |
242.0 (241.2 تا 253.3) | 11,087 ms | 128.2 ms | 1,127 (1,116 تا 1,423) ms | 998 MHz |
| 64 | vllm-eager |
242.5 (241.3 تا 245.6) | 10,941 ms | 131.4 ms | 1,326 (1,270 تا 1,427) ms | 1,020 MHz |
| 64 | vllm-seqs-16 |
138.1 (136.9 تا 139.4) | 39,890 ms | 103.7 ms | 1,143 (1,086 تا 1,282) ms | 630 MHz |
کارت L4، نرخ ورودی: تعداد درخواست در ثانیه، 512 توکن پرامپت و 128 توکن خروجی
| نرخ ورودی | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 0.5 | vllm |
70.6 (67.2 تا 92.3) | 317 ms | 72.7 ms | 214 (208 تا 215) ms | 1,485 MHz |
| 0.5 | sglang |
70.6 (67.2 تا 92.3) | 284 ms | 74.7 ms | 235 (234 تا 235) ms | 1,485 MHz |
| 1 | vllm |
123.6 (118.4 تا 154.5) | 180 ms | 68.2 ms | 77 (77 تا 79) ms | 1,485 MHz |
| 1 | sglang |
123.3 (118.4 تا 153.6) | 166 ms | 74.0 ms | 114 (113 تا 166) ms | 1,500 MHz |
| 2 | vllm |
227.8 (216.5 تا 231.8) | 233 ms | 88.7 ms | 355 (351 تا 358) ms | 1,418 MHz |
| 2 | sglang |
226.3 (215.5 تا 230.1) | 221 ms | 99.9 ms | 387 (384 تا 429) ms | 1,433 MHz |
| 4 | vllm |
286.6 (283.7 تا 291.7) | 8,304 ms | 126.9 ms | 621 (620 تا 627) ms | 1,245 MHz |
| 4 | sglang |
257.5 (254.9 تا 259.7) | 9,575 ms | 115.1 ms | 680 (383 تا 811) ms | 1,350 MHz |
| 8 | vllm |
261.8 (259.4 تا 264.3) | 27,510 ms | 126.0 ms | 1,184 (1,089 تا 1,361) ms | 1,035 MHz |
| 8 | sglang |
253.9 (250.7 تا 260.7) | 37,211 ms | 105.2 ms | 277 (259 تا 317) ms | 1,215 MHz |
| 16 | vllm |
205.8 (204.8 تا 208.4) | 94,322 ms | 185.2 ms | 1,448 (1,448 تا 1,483) ms | 450 MHz |
| 16 | sglang |
218.2 (215.6 تا 229.0) | 97,542 ms | 115.2 ms | 137 (120 تا 163) ms | 600 MHz |
کارت L4، تست امواج: 64 پرامپت با 16 کاربر، بر اساس نسبت طول (1.0 یعنی طولهای برابر)
| نسبت | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 0 | vllm |
174.4 (164.1 تا 195.0) | 284 ms | 75.0 ms | 202 (180 تا 215) ms | 1,493 MHz |
| 0 | sglang |
158.2 (146.7 تا 176.9) | 283 ms | 86.7 ms | 302 (287 تا 305) ms | 1,485 MHz |
| 0.5 | vllm |
169.6 (165.2 تا 173.4) | 353 ms | 81.4 ms | 191 (189 تا 219) ms | 1,455 MHz |
| 0.5 | sglang |
159.6 (155.8 تا 162.0) | 325 ms | 87.8 ms | 363 (360 تا 370) ms | 1,470 MHz |
| 1 | vllm |
181.7 (181.7 تا 182.8) | 1,499 ms | 76.8 ms | 502 (500 تا 503) ms | 1,410 MHz |
| 1 | sglang |
182.3 (181.5 تا 182.7) | 1,775 ms | 74.7 ms | 81 (79 تا 81) ms | 1,440 MHz |
کارت L4، تست پیشوند: توکنهای پیشوند مشترک، 4 گروه 16تایی از پرامپتها، 8 کاربر
| پیشوند | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 0 | vllm |
113.8 (113.7 تا 114.3) | 408 ms | 65.2 ms | 134 (69 تا 167) ms | 1,485 MHz |
| 0 | vllm-no-prefix-cache |
113.6 (113.5 تا 114.3) | 392 ms | 65.3 ms | 135 (129 تا 173) ms | 1,485 MHz |
| 0 | sglang |
113.5 (113.5 تا 113.5) | 354 ms | 66.1 ms | 72 (72 تا 75) ms | 1,485 MHz |
| 256 | vllm |
111.5 (111.4 تا 111.7) | 488 ms | 64.8 ms | 127 (66 تا 129) ms | 1,485 MHz |
| 256 | vllm-no-prefix-cache |
99.1 (99.0 تا 99.6) | 753 ms | 70.2 ms | 323 (255 تا 379) ms | 1,463 MHz |
| 256 | sglang |
110.9 (110.8 تا 111.2) | 470 ms | 67.2 ms | 72 (72 تا 72) ms | 1,485 MHz |
| 1,024 | vllm |
106.0 (105.7 تا 106.8) | 396 ms | 68.9 ms | 189 (73 تا 190) ms | 1,455 MHz |
| 1,024 | vllm-no-prefix-cache |
70.9 (70.9 تا 71.0) | 1,213 ms | 94.9 ms | 602 (598 تا 604) ms | 1,410 MHz |
| 1,024 | sglang |
105.7 (103.2 تا 105.8) | 466 ms | 66.8 ms | 73 (73 تا 73) ms | 1,485 MHz |
| 2,048 | vllm |
100.2 (99.5 تا 100.9) | 410 ms | 72.3 ms | 151 (128 تا 165) ms | 1,455 MHz |
| 2,048 | vllm-no-prefix-cache |
46.6 (46.2 تا 46.7) | 2,550 ms | 119.8 ms | 1,026 (961 تا 1,049) ms | 1,035 MHz |
| 2,048 | sglang |
100.4 (99.6 تا 102.5) | 441 ms | 70.5 ms | 151 (74 تا 153) ms | 1,455 MHz |
| 4,096 | vllm |
86.8 (85.6 تا 89.4) | 375 ms | 80.8 ms | 230 (140 تا 232) ms | 1,410 MHz |
| 4,096 | vllm-no-prefix-cache |
19.6 (19.5 تا 19.7) | 13,353 ms | 192.9 ms | 1,579 (1,531 تا 1,589) ms | 675 MHz |
| 4,096 | sglang |
88.4 (88.3 تا 88.9) | 474 ms | 75.6 ms | 162 (82 تا 214) ms | 1,440 MHz |
کارت L4، نشست با افت حرارتی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
در این نشست (session)، فرکانس پردازندهی گرافیکی بسیار پایینتر از مقدار نامی آن بود. این سطرها را فقط با یکدیگر و در فرکانسهای مشابه مقایسه کنید.
| کاربران | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM | سیدها |
|---|---|---|---|---|---|---|---|
| 1 | vllm-fast-b |
10.6 (10.4 تا 10.7) | 705 ms | 104.1 ms | 105 (105 تا 105) ms | 210 MHz | 3 |
| 1 | vllm-O0 |
10.5 (10.4 تا 10.6) | 707 ms | 106.5 ms | 107 (107 تا 107) ms | 210 MHz | 2 |
| 1 | vllm-O3 |
10.6 (10.5 تا 10.7) | 705 ms | 104.2 ms | 105 (105 تا 105) ms | 210 MHz | 2 |
| 1 | vllm-kv-fp8-triton |
10.8 (10.6 تا 10.9) | 717 ms | 101.8 ms | 102 (102 تا 102) ms | 210 MHz | 2 |
| 32 | vllm-fast-b |
186.7 (185.4 تا 187.1) | 4,181 ms | 142.7 ms | 1,705 (1,424 تا 1,789) ms | 450 MHz | 3 |
| 32 | vllm-O0 |
191.5 (191.0 تا 192.1) | 4,051 ms | 142.0 ms | 1,459 (1,354 تا 1,565) ms | 548 MHz | 2 |
| 32 | vllm-O3 |
189.9 (188.5 تا 191.2) | 4,086 ms | 143.9 ms | 1,602 (1,417 تا 1,787) ms | 536 MHz | 2 |
| 32 | vllm-kv-fp8-triton |
192.0 (183.3 تا 200.7) | 4,267 ms | 138.0 ms | 1,672 (1,603 تا 1,741) ms | 480 MHz | 2 |
کارت L4، فرکانس قفلشده روی 900 MHz: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
قفل فرکانس، سقف فرکانس کاری را مشخص میکند. پردازندهی گرافیکی در دمای بالا باز هم دچار افت فرکانس میشود و به زیر این حد میرسد؛ همانطور که در اجراهای تککاربرهی vllm-lock-b و vllm-lock-small-pool میبینید.
| کاربران | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM | سیدها |
|---|---|---|---|---|---|---|---|
| 1 | vllm-lock-b |
11.2 (10.9 تا 11.5) | 554 ms | 99.0 ms | 105 (105 تا 105) ms | 210 MHz | 2 |
| 1 | vllm-lock-fp8 |
25.4 (24.5 تا 26.3) | 239 ms | 35.3 ms | 48 (45 تا 52) ms | 900 MHz | 2 |
| 1 | vllm-lock-eagle3-k1 |
22.4 (21.7 تا 23.1) | 240 ms | 39.4 ms | 100 (84 تا 115) ms | 900 MHz | 2 |
| 1 | vllm-lock-eagle3-k3 |
31.3 (31.2 تا 31.4) | 255 ms | 27.8 ms | 78 (78 تا 78) ms | 900 MHz | 2 |
| 1 | vllm-lock-eagle3-k5 |
31.7 (30.6 تا 32.9) | 267 ms | 26.2 ms | 110 (83 تا 136) ms | 900 MHz | 2 |
| 1 | vllm-lock-small-pool |
11.6 (10.9 تا 12.3) | 449 ms | 82.6 ms | 105 (105 تا 105) ms | 281 MHz | 2 |
| 32 | vllm-lock-b |
208.8 (206.8 تا 210.8) | 3,090 ms | 119.9 ms | 1,406 (1,390 تا 1,422) ms | 881 MHz | 2 |
| 32 | vllm-lock-fp8 |
284.7 (272.3 تا 297.1) | 2,862 ms | 83.8 ms | 1,143 (1,027 تا 1,260) ms | 900 MHz | 2 |
| 32 | vllm-lock-eagle3-k1 |
271.1 (261.2 تا 281.0) | 1,004 ms | 100.4 ms | 818 (784 تا 852) ms | 900 MHz | 2 |
| 32 | vllm-lock-eagle3-k3 |
333.6 (327.8 تا 339.5) | 890 ms | 77.8 ms | 771 (763 تا 780) ms | 900 MHz | 2 |
| 32 | vllm-lock-eagle3-k5 |
289.5 (280.4 تا 298.5) | 1,071 ms | 83.7 ms | 915 (836 تا 995) ms | 885 MHz | 2 |
| 32 | vllm-lock-small-pool |
80.4 (79.8 تا 81.1) | 31,568 ms | 120.6 ms | 768 (765 تا 771) ms | 248 MHz | 2 |
کارت L4، روی GPU اشتراکی با استخر حافظهی 2,928 توکنی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
| کاربران | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM | سیدها |
|---|---|---|---|---|---|---|---|
| 1 | vllm-fast-b |
4.0 (3.9 تا 4.0) | 1,437 ms | 241.7 ms | 274 (255 تا 293) ms | 375 MHz | 2 |
| 1 | vllm-ngram |
7.4 (7.3 تا 7.5) | 1,428 ms | 76.6 ms | 284 (277 تا 291) ms | 413 MHz | 2 |
| 1 | vllm-no-async |
3.9 (3.8 تا 3.9) | 1,467 ms | 249.6 ms | 283 (258 تا 307) ms | 368 MHz | 2 |
| 4 | vllm-fast-b |
13.0 (13.0 تا 13.1) | 4,945 ms | 272.6 ms | 290 (286 تا 295) ms | 428 MHz | 2 |
| 4 | vllm-ngram |
19.2 (18.8 تا 19.7) | 1,925 ms | 101.3 ms | 1,691 (1,669 تا 1,713) ms | 443 MHz | 2 |
| 4 | vllm-no-async |
12.9 (12.9 تا 12.9) | 4,690 ms | 277.2 ms | 309 (309 تا 309) ms | 450 MHz | 1 |
کارت GB10، تست بار
| کاربران | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 1 | vllm |
29.5 (29.3 تا 29.5) | 257 ms | 32.3 ms | 35 (34 تا 42) ms | 2,411 MHz |
| 1 | vllm-eager |
28.0 (28.0 تا 28.2) | 249 ms | 33.9 ms | 37 (36 تا 43) ms | 2,411 MHz |
| 1 | vllm-async |
29.2 (29.2 تا 29.4) | 255 ms | 32.5 ms | 35 (35 تا 43) ms | 2,411 MHz |
| 1 | sglang |
29.4 (29.1 تا 29.8) | 270 ms | 32.0 ms | 35 (34 تا 42) ms | 2,411 MHz |
| 2 | vllm |
44.7 (44.5 تا 45.0) | 151 ms | 44.0 ms | 49 (47 تا 55) ms | 2,411 MHz |
| 2 | vllm-eager |
42.3 (42.1 تا 42.6) | 145 ms | 46.5 ms | 51 (50 تا 53) ms | 2,411 MHz |
| 2 | vllm-async |
44.2 (44.1 تا 44.5) | 154 ms | 44.4 ms | 48 (48 تا 56) ms | 2,411 MHz |
| 2 | sglang |
44.6 (44.4 تا 45.2) | 72 ms | 44.6 ms | 49 (48 تا 56) ms | 2,411 MHz |
| 4 | vllm |
57.1 (56.5 تا 57.2) | 250 ms | 69.2 ms | 76 (76 تا 77) ms | 2,411 MHz |
| 4 | vllm-eager |
55.3 (54.9 تا 55.4) | 245 ms | 71.4 ms | 78 (78 تا 78) ms | 2,411 MHz |
| 4 | vllm-async |
56.1 (55.6 تا 56.1) | 256 ms | 70.6 ms | 77 (77 تا 78) ms | 2,411 MHz |
| 4 | sglang |
57.7 (57.6 تا 58.1) | 115 ms | 69.5 ms | 79 (75 تا 82) ms | 2,411 MHz |
| 8 | vllm |
75.7 (71.8 تا 78.7) | 378 ms | 99.9 ms | 115 (115 تا 117) ms | 2,411 MHz |
| 8 | vllm-eager |
72.8 (68.9 تا 75.4) | 337 ms | 104.7 ms | 121 (121 تا 123) ms | 2,411 MHz |
| 8 | vllm-async |
74.9 (71.1 تا 77.8) | 441 ms | 101.2 ms | 117 (117 تا 118) ms | 2,411 MHz |
| 8 | sglang |
75.5 (72.3 تا 78.7) | 214 ms | 101.3 ms | 117 (117 تا 121) ms | 2,411 MHz |
| 16 | vllm |
101.1 (100.1 تا 103.9) | 529 ms | 153.9 ms | 228 (179 تا 235) ms | 2,411 MHz |
| 16 | vllm-eager |
98.8 (97.7 تا 101.1) | 541 ms | 158.2 ms | 216 (175 تا 239) ms | 2,411 MHz |
| 16 | vllm-async |
99.8 (99.0 تا 102.7) | 555 ms | 156.3 ms | 226 (176 تا 230) ms | 2,411 MHz |
| 16 | sglang |
103.4 (102.4 تا 106.7) | 258 ms | 152.2 ms | 164 (163 تا 169) ms | 2,411 MHz |
| 32 | vllm |
154.1 (152.1 تا 154.8) | 644 ms | 198.2 ms | 478 (472 تا 479) ms | 2,411 MHz |
| 32 | vllm-eager |
149.1 (131.4 تا 150.9) | 659 ms | 204.2 ms | 474 (465 تا 474) ms | 2,411 MHz |
| 32 | vllm-async |
150.2 (148.1 تا 150.7) | 644 ms | 203.4 ms | 477 (473 تا 479) ms | 2,411 MHz |
| 32 | sglang |
154.6 (152.4 تا 155.9) | 401 ms | 195.9 ms | 220 (216 تا 220) ms | 2,411 MHz |
| 64 | vllm |
239.3 (236.3 تا 244.7) | 965 ms | 243.8 ms | 528 (510 تا 529) ms | 2,398 MHz |
| 64 | vllm-eager |
237.5 (232.9 تا 240.0) | 774 ms | 248.0 ms | 509 (501 تا 511) ms | 2,398 MHz |
| 64 | vllm-async |
235.9 (233.2 تا 240.2) | 961 ms | 249.1 ms | 527 (524 تا 529) ms | 2,398 MHz |
| 64 | sglang |
245.1 (239.4 تا 247.7) | 573 ms | 246.0 ms | 271 (268 تا 273) ms | 2,411 MHz |
کارت GB10، پرامپتهای ترکیبی: طول پرامپت 1,024 تا 4,096 توکن، طول خروجی 64 تا 256 توکن، بر اساس نرخ ورودی
| نرخ ورودی | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 0.5 | vllm |
72.3 (59.0 تا 72.7) | 1,135 ms | 148.5 ms | 571 (486 تا 588) ms | 2,398 MHz |
| 0.5 | vllm-mnbt-2048 |
72.0 (58.8 تا 72.6) | 1,145 ms | 149.3 ms | 574 (483 تا 594) ms | 2,398 MHz |
| 0.5 | vllm-mnbt-16384 |
72.5 (59.3 تا 73.1) | 906 ms | 139.4 ms | 798 (685 تا 799) ms | 2,398 MHz |
| 0.5 | sglang |
70.9 (58.1 تا 71.1) | 841 ms | 170.1 ms | 922 (811 تا 925) ms | 2,411 MHz |
| 1 | vllm |
107.8 (96.9 تا 112.8) | 462 ms | 155.1 ms | 417 (181 تا 432) ms | 2,411 MHz |
| 1 | vllm-mnbt-2048 |
107.8 (97.4 تا 113.0) | 454 ms | 156.5 ms | 405 (187 تا 427) ms | 2,411 MHz |
| 1 | vllm-mnbt-16384 |
107.2 (96.6 تا 113.2) | 477 ms | 156.9 ms | 395 (201 تا 427) ms | 2,411 MHz |
| 1 | sglang |
108.8 (95.6 تا 113.7) | 244 ms | 161.9 ms | 219 (179 تا 236) ms | 2,411 MHz |
| 2 | vllm |
128.8 (123.2 تا 135.7) | 584 ms | 204.7 ms | 590 (474 تا 615) ms | 2,411 MHz |
| 2 | vllm-mnbt-2048 |
128.1 (124.0 تا 135.7) | 560 ms | 205.5 ms | 587 (477 تا 609) ms | 2,411 MHz |
| 2 | vllm-mnbt-16384 |
127.6 (122.6 تا 135.6) | 595 ms | 205.1 ms | 586 (479 تا 609) ms | 2,411 MHz |
| 2 | sglang |
133.2 (124.8 تا 139.8) | 238 ms | 189.8 ms | 261 (234 تا 286) ms | 2,411 MHz |
کارت GB10، تست امواج
| نسبت | کانفیگ | توکن خروجی بر ثانیه (حداقل تا حداکثر) | میانهی TTFT | میانهی TPOT | صدک P99 شاخص ITL (حداقل تا حداکثر) | میانهی فرکانس SM |
|---|---|---|---|---|---|---|
| 0 | vllm |
97.0 (93.3 تا 97.8) | 476 ms | 154.6 ms | 183 (181 تا 184) ms | 2,411 MHz |
| 0 | vllm-async |
96.7 (92.9 تا 97.5) | 472 ms | 155.5 ms | 191 (182 تا 195) ms | 2,411 MHz |
| 0 | sglang |
96.6 (93.4 تا 97.0) | 324 ms | 155.6 ms | 214 (191 تا 225) ms | 2,411 MHz |
| 0.5 | vllm |
99.0 (98.9 تا 99.7) | 454 ms | 152.7 ms | 188 (182 تا 191) ms | 2,411 MHz |
| 0.5 | vllm-async |
98.9 (98.8 تا 100.3) | 459 ms | 152.5 ms | 183 (182 تا 193) ms | 2,411 MHz |
| 0.5 | sglang |
99.5 (98.5 تا 100.1) | 315 ms | 153.4 ms | 198 (193 تا 201) ms | 2,411 MHz |
| 1 | vllm |
97.7 (96.3 تا 99.6) | 1,185 ms | 157.6 ms | 394 (389 تا 402) ms | 2,411 MHz |
| 1 | vllm-async |
97.7 (96.9 تا 99.7) | 1,212 ms | 157.9 ms | 405 (360 تا 411) ms | 2,411 MHz |
| 1 | sglang |
101.4 (100.3 تا 104.2) | 1,275 ms | 149.7 ms | 159 (159 تا 190) ms | 2,411 MHz |
منابع داده: capture/gpu/summary/l4.json، capture/gpu/summary/gb10.json، capture/gpu/out-l4/، capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/load-flushed-vs-unflushed.txt، capture/gpu/out-l4/gsm8k-fp8-accuracy.txt، capture/gpu/out-l4/batch-invariant-cost.txt، capture/gpu/out-l4/admission-cap-64-users.txt و capture/gpu/out-l4/eagle3-long-outputs.txt.