مرجع R.7

یادداشت‌های آزمایشگاه

Lab notes

فهرست مطالب
  1. روش‌شناسی
  2. آزمایش‌های اجرا‌نشده
  3. جدول‌ها
  4. کارت L4، تست بار: کاربران هم‌زمان، 512 توکن پرامپت و 128 توکن خروجی
  5. کارت L4، نرخ ورودی: تعداد درخواست در ثانیه، 512 توکن پرامپت و 128 توکن خروجی
  6. کارت L4، تست امواج: 64 پرامپت با 16 کاربر، بر اساس نسبت طول (1.0 یعنی طول‌های برابر)
  7. کارت L4، تست پیشوند: توکن‌های پیشوند مشترک، 4 گروه 16تایی از پرامپت‌ها، 8 کاربر
  8. کارت L4، نشست با افت حرارتی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
  9. کارت L4، فرکانس قفل‌شده روی 900 MHz: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
  10. کارت L4، روی GPU اشتراکی با استخر حافظه‌ی 2,928 توکنی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22
  11. کارت GB10، تست بار
  12. کارت GB10، پرامپت‌های ترکیبی: طول پرامپت 1,024 تا 4,096 توکن، طول خروجی 64 تا 256 توکن، بر اساس نرخ ورودی
  13. کارت GB10، تست امواج

این صفحه سخت‌افزارها، نسخه‌ها، سیدها (seeds)، فرکانس‌ها و جدول‌های کامل هر اندازه‌گیری را ثبت کرده است.

از این صفحه برای بررسی اعداد بخش‌های دیگر یا تکرار یک آزمایش استفاده کنید.

روش‌شناسی

  • سخت‌افزار و نسخه‌ها. صفحه‌ی نسخه‌های ثابت‌شده فهرست کامل آن‌ها را آورده است.

  • کلاینت. همه‌ی اجراها با کلاینت بنچمارک SGLang 0.5.22 انجام شده‌اند. در اجراهای vLLM گزینه‌ی --backend vllm به کار رفت که هر درخواست را به /v1/completions می‌فرستد. کلاینت ابتدا یک درخواست برای گرم‌کردن (warmup) ارسال می‌کند و از سرور می‌خواهد توکن پایان توالی (end-of-sequence) را نادیده بگیرد، مگر اینکه گزینه‌ی --disable-ignore-eos را داده باشید. دیتاست تصادفی آن، متن چت واقعی را بسته به طول درخواستی برش می‌دهد یا تکرار می‌کند. صفحه‌ی بنچمارک دستور کامل را نشان می‌دهد.

  • امواج (Waves). در این بار کاری، 64 پرامپت به سمت 16 کاربر ارسال می‌شود. نسبت طول (length ratio) مشخص می‌کند طول پرامپت و طول خروجی چقدر نوسان داشته باشند. در نسبت 1.0، طول پرامپت همه‌ی درخواست‌ها 512 توکن و طول خروجی آن‌ها 128 توکن است. در نسبت 0، طول هر پرامپت و خروجی به‌صورت تصادفی از 1 توکن تا سقف این مقدار تعیین می‌شود.

  • سیدها. در اجراهای تا تاریخ 2026-10-21 از سیدهای 1، 2 و 3 استفاده شد. بیشتر اجراهای 2026-10-22 با سیدهای 1 و 2 انجام شدند که تعدادشان در جدول‌ها آمده است. اعداد داخل جدول‌ها میانه (median) هستند و در برخی ستون‌ها کمترین و بیشترین مقدار هم قید شده است.

  • تنظیمات سرور. ابزار اجرای خودکار تست‌ها (sweep tool) هر سرور vLLM را با VLLM_USE_FLASHINFER_SAMPLER=0 اجرا می‌کند، چرا که نمونه‌گیر (sampler) FlashInfer روی کارت L4 ما کامپایل نمی‌شود. این ابزار همچنین فلگ‌های --seed 0، --max-model-len، --num-gpu-blocks-override و --gpu-memory-utilization را تنظیم می‌کند. در کارت L4 مقادیر 8,192 توکن، 1,506 بلوک و نسبت 0.9 به کار رفت. کارت GB10 از 8,192 توکن، 14,685 بلوک و نسبت 0.75 استفاده کرد. در پردازنده‌ی گرافیکی اشتراکی L4 مقادیر 2,048 یا 2,304 توکن، 183 بلوک و 0.83 تنظیم شد. اجرای مربوط به استخر کوچک (small-pool) نیز با 4,096 توکن و 410 بلوک صورت گرفت.

  • گرد کردن اعداد. در جدول‌ها و بخش‌های مختلف، یک قاعده رعایت شده است: مقادیر اعشاری فایل خلاصه گرد می‌شوند و اعشار 0.5 به بالا می‌رود؛ بنابراین 1,012.5 به‌صورت 1,013 نشان داده می‌شود.

  • استخرها (Pools). روی L4، فریم‌ورک vLLM با فلگ --num-gpu-blocks-override 1506 و استخری با ظرفیت 24,096 توکن در برابر 24,094 توکن برای SGLang اجرا شد. روی GB10، فریم‌ورک vLLM با 14,685 بلوک و استخری به ظرفیت 234,960 توکن اجرا شد. ظرفیت استخرهای SGLang روی GB10 به این ترتیب بود: 233,303 توکن برای بار کاری یکنواخت (load)، 234,958 برای امواج و 251,910 برای پرامپت‌های ترکیبی.

  • فرکانس‌ها (Clocks). یک نمونه‌گیر، فرکانس SM و دمای کارت را هر ثانیه ثبت می‌کرد. ابزار sweep می‌تواند پیش از شروع اجرای بعدی منتظر بماند تا GPU خنک شود. همچنین اگر میانه‌ی فرکانس به زیر حداقل فرکانس مجاز (clock floor) تعیین‌شده برای آزمایش افت کند، ابزار می‌تواند آن آزمایش را دوباره اجرا کند. ستون فرکانس، نتیجه‌ی نهایی هر نقطه را نشان می‌دهد. در تاریخ 2026-10-22، در اغلب اجراها فرکانس SM با دستور nvidia-smi -lgc روی 900 MHz قفل شده بود. قفل فرکانس حداکثر مقدار را تعیین می‌کند، اما در دمای بالا، GPU همچنان افت فرکانس پیدا می‌کند و پایین‌تر از سقف می‌آید. در بخش‌های متن، دو نقطه را فقط در فرکانس‌های مشابه با هم مقایسه کرده‌ایم و مواردی که فرکانس به زیر مقدار قفل افت کرده یا آزمایش در نشستی با افت حرارتی (throttled) اجرا شده، مشخص شده‌اند.

  • تاریخ‌ها. تست‌های بار L4 برای vllm و sglang در تاریخ 2026-10-17 و تست‌های بار vllm-b، vllm-async، vllm-eager و vllm-seqs-16 در تاریخ 2026-10-21 انجام شدند. تست‌های نرخ درخواست و امواج L4 در 2026-10-18 ثبت شدند. تست‌های پیشوند L4 با کش فعال، از 2026-10-17 تا 2026-10-18 ادامه داشت و اجرای بدون کش پیشوند در 2026-10-21 صورت گرفت. همه‌ی تست‌های GB10 این جدول‌ها در تاریخ 2026-10-21 انجام شدند. تمام اجراهای جدول‌های سه‌گانه‌ی L4 برای 2026-10-22 در همان روز اجرا شدند. تست‌های انجام‌شده روی GPU اشتراکی نود L4، استخری با ظرفیت 2,928 توکن داشتند؛ از این رو تنها برای 1 و 4 کاربر آزمایش شدند.

  • کش در تغییر تعداد کاربران. در جدول‌های تست بار پیش از تاریخ 2026-10-23، برای هر کانفیگ یک سرور حفظ می‌شد و کش پیشوند (prefix cache) بین تعداد کاربران ریست نمی‌شد. هر سید، در هر تعداد کاربر پرامپت‌های اولیه‌ی یکسانی می‌فرستاد. در تست‌های زیر 32 کاربر، زمان ثبت‌شده برای توکن اول در این جدول‌ها بیش از حد سریع است (3.6 تا 5.3 برابر سریع‌تر برای vLLM روی کارت L4 ما). در اجرای مجددِ 2026-10-23، کش قبل از هر تست ریست می‌شود و صفحه‌ی بنچمارک این دو حالت را مقایسه می‌کند.

  • اجراهای تاریخ 2026-10-23. تست‌های L4 در این روز روی GPU اول با فرکانس قفل‌شده در 900 MHz انجام شد. در هر آزمایش، ابتدا کش ریست می‌شد و کار با دو سید پیش می‌رفت. کارت بیش از حد داغ شد و به همین دلیل فرکانس بسیاری از اجراها به زیر مقدار قفل افت کرد. فایل‌های شواهد (evidence) میانه‌ی فرکانس سطرهای خود را قید کرده‌اند و در متن گزارش، تنها سطرهای دارای فرکانس 900 MHz با یکدیگر مقایسه شده‌اند.

آزمایش‌های اجرا‌نشده

این آزمایش‌ها در برنامه هستند اما هنوز در این جدول‌ها نیامده‌اند:

  • پارامتر --max-num-batched-tokens روی مقادیر 512، 2048 و 16384 برای پرامپت‌های ترکیبی در L4. نتایج مقادیر 2048 و 16384 برای GB10 ثبت شده است.
  • گزینه‌ی -O1 روی L4.
  • مقایسه‌ی دو فریم‌ورک با یک نوع داده‌ی مشترک برای کش کلید-مقدار (KV data type).

جدول‌ها

کانفیگ vllm-async فلگ --async-scheduling را اضافه می‌کند. در این مدل‌ها بدون به کار بردن گمانه‌زنی (speculation)، این مقدار پیش‌فرض است؛ بنابراین کانفیگ vllm-async در عمل تکرار دوم تنظیمات خط مبنا (baseline) روی هر دو سرور است.

کارت L4، تست بار: کاربران هم‌زمان، 512 توکن پرامپت و 128 توکن خروجی

کاربران کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
1 vllm 13.5 (13.5 تا 13.5) 192 ms 60.4 ms 105 (104 تا 105) ms 1,290 MHz
1 sglang 13.8 (13.7 تا 14.1) 185 ms 60.2 ms 104 (104 تا 104) ms 1,290 MHz
1 vllm-b 13.5 (13.1 تا 13.8) 191 ms 60.4 ms 105 (104 تا 105) ms 1,275 MHz
1 vllm-async 13.3 (13.1 تا 13.6) 191 ms 60.4 ms 105 (104 تا 105) ms 1,268 MHz
1 vllm-eager 13.2 (13.1 تا 13.4) 190 ms 61.1 ms 107 (107 تا 107) ms 1,290 MHz
1 vllm-seqs-16 13.4 (13.1 تا 13.6) 190 ms 60.4 ms 105 (105 تا 105) ms 1,275 MHz
2 vllm 31.3 (31.3 تا 31.3) 132 ms 63.4 ms 64 (64 تا 64) ms 1,500 MHz
2 sglang 31.2 (31.2 تا 31.2) 116 ms 63.7 ms 65 (65 تا 65) ms 1,500 MHz
2 vllm-b 31.3 (31.3 تا 31.3) 132 ms 63.4 ms 64 (64 تا 64) ms 1,500 MHz
2 vllm-async 31.3 (31.3 تا 31.3) 132 ms 63.4 ms 64 (64 تا 64) ms 1,500 MHz
2 vllm-eager 30.8 (30.7 تا 30.8) 141 ms 64.5 ms 65 (65 تا 65) ms 1,515 MHz
2 vllm-seqs-16 31.3 (31.3 تا 31.3) 132 ms 63.4 ms 65 (64 تا 65) ms 1,500 MHz
4 vllm 61.8 (61.8 تا 61.8) 141 ms 64.1 ms 65 (65 تا 65) ms 1,515 MHz
4 sglang 61.6 (61.5 تا 61.6) 137 ms 64.4 ms 67 (65 تا 67) ms 1,530 MHz
4 vllm-b 61.8 (61.8 تا 61.8) 142 ms 64.1 ms 65 (65 تا 66) ms 1,560 MHz
4 vllm-async 61.8 (61.8 تا 61.8) 141 ms 64.1 ms 65 (65 تا 65) ms 1,515 MHz
4 vllm-eager 60.7 (60.7 تا 60.7) 143 ms 65.3 ms 66 (66 تا 66) ms 1,560 MHz
4 vllm-seqs-16 61.6 (61.3 تا 61.6) 142 ms 64.3 ms 65 (65 تا 66) ms 1,515 MHz
8 vllm 112.8 (112.8 تا 112.9) 253 ms 65.8 ms 68 (68 تا 70) ms 1,470 MHz
8 sglang 112.5 (112.4 تا 112.6) 170 ms 66.1 ms 71 (70 تا 73) ms 1,485 MHz
8 vllm-b 112.8 (112.7 تا 112.8) 253 ms 65.8 ms 67 (67 تا 68) ms 1,485 MHz
8 vllm-async 112.7 (112.6 تا 112.8) 261 ms 65.8 ms 67 (67 تا 68) ms 1,500 MHz
8 vllm-eager 111.2 (111.2 تا 111.4) 206 ms 67.0 ms 68 (68 تا 68) ms 1,515 MHz
8 vllm-seqs-16 112.5 (112.4 تا 112.6) 260 ms 65.9 ms 67 (67 تا 67) ms 1,485 MHz
16 vllm 200.9 (200.5 تا 201.2) 289 ms 69.5 ms 80 (80 تا 105) ms 1,425 MHz
16 sglang 201.1 (201.1 تا 201.2) 212 ms 70.1 ms 81 (81 تا 82) ms 1,470 MHz
16 vllm-b 201.3 (200.9 تا 201.3) 288 ms 69.5 ms 85 (81 تا 89) ms 1,455 MHz
16 vllm-async 201.4 (200.8 تا 201.5) 284 ms 69.5 ms 85 (79 تا 87) ms 1,425 MHz
16 vllm-eager 198.4 (198.2 تا 198.4) 278 ms 71.1 ms 80 (80 تا 85) ms 1,455 MHz
16 vllm-seqs-16 200.9 (200.6 تا 201.1) 288 ms 69.7 ms 80 (79 تا 86) ms 1,440 MHz
32 vllm 273.9 (273.8 تا 274.4) 1,813 ms 102.2 ms 619 (612 تا 622) ms 1,275 MHz
32 sglang 271.3 (270.3 تا 272.2) 2,871 ms 96.8 ms 102 (102 تا 103) ms 1,320 MHz
32 vllm-b 275.1 (274.8 تا 275.2) 1,800 ms 101.8 ms 613 (608 تا 614) ms 1,275 MHz
32 vllm-async 275.3 (273.8 تا 275.3) 1,807 ms 102.1 ms 613 (611 تا 619) ms 1,275 MHz
32 vllm-eager 273.2 (272.4 تا 273.3) 1,768 ms 103.1 ms 600 (595 تا 601) ms 1,313 MHz
32 vllm-seqs-16 171.8 (171.3 تا 172.5) 12,330 ms 81.1 ms 595 (587 تا 603) ms 1,365 MHz
64 vllm 241.4 (241.4 تا 246.4) 10,953 ms 129.2 ms 1,363 (1,204 تا 1,436) ms 1,013 MHz
64 sglang 256.6 (255.8 تا 260.5) 18,356 ms 106.2 ms 114 (114 تا 118) ms 1,215 MHz
64 vllm-b 242.3 (242.0 تا 243.8) 11,181 ms 129.2 ms 1,233 (1,187 تا 1,437) ms 1,005 MHz
64 vllm-async 242.0 (241.2 تا 253.3) 11,087 ms 128.2 ms 1,127 (1,116 تا 1,423) ms 998 MHz
64 vllm-eager 242.5 (241.3 تا 245.6) 10,941 ms 131.4 ms 1,326 (1,270 تا 1,427) ms 1,020 MHz
64 vllm-seqs-16 138.1 (136.9 تا 139.4) 39,890 ms 103.7 ms 1,143 (1,086 تا 1,282) ms 630 MHz

کارت L4، نرخ ورودی: تعداد درخواست در ثانیه، 512 توکن پرامپت و 128 توکن خروجی

نرخ ورودی کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
0.5 vllm 70.6 (67.2 تا 92.3) 317 ms 72.7 ms 214 (208 تا 215) ms 1,485 MHz
0.5 sglang 70.6 (67.2 تا 92.3) 284 ms 74.7 ms 235 (234 تا 235) ms 1,485 MHz
1 vllm 123.6 (118.4 تا 154.5) 180 ms 68.2 ms 77 (77 تا 79) ms 1,485 MHz
1 sglang 123.3 (118.4 تا 153.6) 166 ms 74.0 ms 114 (113 تا 166) ms 1,500 MHz
2 vllm 227.8 (216.5 تا 231.8) 233 ms 88.7 ms 355 (351 تا 358) ms 1,418 MHz
2 sglang 226.3 (215.5 تا 230.1) 221 ms 99.9 ms 387 (384 تا 429) ms 1,433 MHz
4 vllm 286.6 (283.7 تا 291.7) 8,304 ms 126.9 ms 621 (620 تا 627) ms 1,245 MHz
4 sglang 257.5 (254.9 تا 259.7) 9,575 ms 115.1 ms 680 (383 تا 811) ms 1,350 MHz
8 vllm 261.8 (259.4 تا 264.3) 27,510 ms 126.0 ms 1,184 (1,089 تا 1,361) ms 1,035 MHz
8 sglang 253.9 (250.7 تا 260.7) 37,211 ms 105.2 ms 277 (259 تا 317) ms 1,215 MHz
16 vllm 205.8 (204.8 تا 208.4) 94,322 ms 185.2 ms 1,448 (1,448 تا 1,483) ms 450 MHz
16 sglang 218.2 (215.6 تا 229.0) 97,542 ms 115.2 ms 137 (120 تا 163) ms 600 MHz

کارت L4، تست امواج: 64 پرامپت با 16 کاربر، بر اساس نسبت طول (1.0 یعنی طول‌های برابر)

نسبت کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
0 vllm 174.4 (164.1 تا 195.0) 284 ms 75.0 ms 202 (180 تا 215) ms 1,493 MHz
0 sglang 158.2 (146.7 تا 176.9) 283 ms 86.7 ms 302 (287 تا 305) ms 1,485 MHz
0.5 vllm 169.6 (165.2 تا 173.4) 353 ms 81.4 ms 191 (189 تا 219) ms 1,455 MHz
0.5 sglang 159.6 (155.8 تا 162.0) 325 ms 87.8 ms 363 (360 تا 370) ms 1,470 MHz
1 vllm 181.7 (181.7 تا 182.8) 1,499 ms 76.8 ms 502 (500 تا 503) ms 1,410 MHz
1 sglang 182.3 (181.5 تا 182.7) 1,775 ms 74.7 ms 81 (79 تا 81) ms 1,440 MHz

کارت L4، تست پیشوند: توکن‌های پیشوند مشترک، 4 گروه 16تایی از پرامپت‌ها، 8 کاربر

پیشوند کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
0 vllm 113.8 (113.7 تا 114.3) 408 ms 65.2 ms 134 (69 تا 167) ms 1,485 MHz
0 vllm-no-prefix-cache 113.6 (113.5 تا 114.3) 392 ms 65.3 ms 135 (129 تا 173) ms 1,485 MHz
0 sglang 113.5 (113.5 تا 113.5) 354 ms 66.1 ms 72 (72 تا 75) ms 1,485 MHz
256 vllm 111.5 (111.4 تا 111.7) 488 ms 64.8 ms 127 (66 تا 129) ms 1,485 MHz
256 vllm-no-prefix-cache 99.1 (99.0 تا 99.6) 753 ms 70.2 ms 323 (255 تا 379) ms 1,463 MHz
256 sglang 110.9 (110.8 تا 111.2) 470 ms 67.2 ms 72 (72 تا 72) ms 1,485 MHz
1,024 vllm 106.0 (105.7 تا 106.8) 396 ms 68.9 ms 189 (73 تا 190) ms 1,455 MHz
1,024 vllm-no-prefix-cache 70.9 (70.9 تا 71.0) 1,213 ms 94.9 ms 602 (598 تا 604) ms 1,410 MHz
1,024 sglang 105.7 (103.2 تا 105.8) 466 ms 66.8 ms 73 (73 تا 73) ms 1,485 MHz
2,048 vllm 100.2 (99.5 تا 100.9) 410 ms 72.3 ms 151 (128 تا 165) ms 1,455 MHz
2,048 vllm-no-prefix-cache 46.6 (46.2 تا 46.7) 2,550 ms 119.8 ms 1,026 (961 تا 1,049) ms 1,035 MHz
2,048 sglang 100.4 (99.6 تا 102.5) 441 ms 70.5 ms 151 (74 تا 153) ms 1,455 MHz
4,096 vllm 86.8 (85.6 تا 89.4) 375 ms 80.8 ms 230 (140 تا 232) ms 1,410 MHz
4,096 vllm-no-prefix-cache 19.6 (19.5 تا 19.7) 13,353 ms 192.9 ms 1,579 (1,531 تا 1,589) ms 675 MHz
4,096 sglang 88.4 (88.3 تا 88.9) 474 ms 75.6 ms 162 (82 تا 214) ms 1,440 MHz

کارت L4، نشست با افت حرارتی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22

در این نشست (session)، فرکانس پردازنده‌ی گرافیکی بسیار پایین‌تر از مقدار نامی آن بود. این سطرها را فقط با یکدیگر و در فرکانس‌های مشابه مقایسه کنید.

کاربران کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM سیدها
1 vllm-fast-b 10.6 (10.4 تا 10.7) 705 ms 104.1 ms 105 (105 تا 105) ms 210 MHz 3
1 vllm-O0 10.5 (10.4 تا 10.6) 707 ms 106.5 ms 107 (107 تا 107) ms 210 MHz 2
1 vllm-O3 10.6 (10.5 تا 10.7) 705 ms 104.2 ms 105 (105 تا 105) ms 210 MHz 2
1 vllm-kv-fp8-triton 10.8 (10.6 تا 10.9) 717 ms 101.8 ms 102 (102 تا 102) ms 210 MHz 2
32 vllm-fast-b 186.7 (185.4 تا 187.1) 4,181 ms 142.7 ms 1,705 (1,424 تا 1,789) ms 450 MHz 3
32 vllm-O0 191.5 (191.0 تا 192.1) 4,051 ms 142.0 ms 1,459 (1,354 تا 1,565) ms 548 MHz 2
32 vllm-O3 189.9 (188.5 تا 191.2) 4,086 ms 143.9 ms 1,602 (1,417 تا 1,787) ms 536 MHz 2
32 vllm-kv-fp8-triton 192.0 (183.3 تا 200.7) 4,267 ms 138.0 ms 1,672 (1,603 تا 1,741) ms 480 MHz 2

کارت L4، فرکانس قفل‌شده روی 900 MHz: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22

قفل فرکانس، سقف فرکانس کاری را مشخص می‌کند. پردازنده‌ی گرافیکی در دمای بالا باز هم دچار افت فرکانس می‌شود و به زیر این حد می‌رسد؛ همان‌طور که در اجراهای تک‌کاربره‌ی vllm-lock-b و vllm-lock-small-pool می‌بینید.

کاربران کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM سیدها
1 vllm-lock-b 11.2 (10.9 تا 11.5) 554 ms 99.0 ms 105 (105 تا 105) ms 210 MHz 2
1 vllm-lock-fp8 25.4 (24.5 تا 26.3) 239 ms 35.3 ms 48 (45 تا 52) ms 900 MHz 2
1 vllm-lock-eagle3-k1 22.4 (21.7 تا 23.1) 240 ms 39.4 ms 100 (84 تا 115) ms 900 MHz 2
1 vllm-lock-eagle3-k3 31.3 (31.2 تا 31.4) 255 ms 27.8 ms 78 (78 تا 78) ms 900 MHz 2
1 vllm-lock-eagle3-k5 31.7 (30.6 تا 32.9) 267 ms 26.2 ms 110 (83 تا 136) ms 900 MHz 2
1 vllm-lock-small-pool 11.6 (10.9 تا 12.3) 449 ms 82.6 ms 105 (105 تا 105) ms 281 MHz 2
32 vllm-lock-b 208.8 (206.8 تا 210.8) 3,090 ms 119.9 ms 1,406 (1,390 تا 1,422) ms 881 MHz 2
32 vllm-lock-fp8 284.7 (272.3 تا 297.1) 2,862 ms 83.8 ms 1,143 (1,027 تا 1,260) ms 900 MHz 2
32 vllm-lock-eagle3-k1 271.1 (261.2 تا 281.0) 1,004 ms 100.4 ms 818 (784 تا 852) ms 900 MHz 2
32 vllm-lock-eagle3-k3 333.6 (327.8 تا 339.5) 890 ms 77.8 ms 771 (763 تا 780) ms 900 MHz 2
32 vllm-lock-eagle3-k5 289.5 (280.4 تا 298.5) 1,071 ms 83.7 ms 915 (836 تا 995) ms 885 MHz 2
32 vllm-lock-small-pool 80.4 (79.8 تا 81.1) 31,568 ms 120.6 ms 768 (765 تا 771) ms 248 MHz 2

کارت L4، روی GPU اشتراکی با استخر حافظه‌ی 2,928 توکنی: 512 توکن پرامپت و 128 توکن خروجی، 2026-10-22

کاربران کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM سیدها
1 vllm-fast-b 4.0 (3.9 تا 4.0) 1,437 ms 241.7 ms 274 (255 تا 293) ms 375 MHz 2
1 vllm-ngram 7.4 (7.3 تا 7.5) 1,428 ms 76.6 ms 284 (277 تا 291) ms 413 MHz 2
1 vllm-no-async 3.9 (3.8 تا 3.9) 1,467 ms 249.6 ms 283 (258 تا 307) ms 368 MHz 2
4 vllm-fast-b 13.0 (13.0 تا 13.1) 4,945 ms 272.6 ms 290 (286 تا 295) ms 428 MHz 2
4 vllm-ngram 19.2 (18.8 تا 19.7) 1,925 ms 101.3 ms 1,691 (1,669 تا 1,713) ms 443 MHz 2
4 vllm-no-async 12.9 (12.9 تا 12.9) 4,690 ms 277.2 ms 309 (309 تا 309) ms 450 MHz 1

کارت GB10، تست بار

کاربران کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
1 vllm 29.5 (29.3 تا 29.5) 257 ms 32.3 ms 35 (34 تا 42) ms 2,411 MHz
1 vllm-eager 28.0 (28.0 تا 28.2) 249 ms 33.9 ms 37 (36 تا 43) ms 2,411 MHz
1 vllm-async 29.2 (29.2 تا 29.4) 255 ms 32.5 ms 35 (35 تا 43) ms 2,411 MHz
1 sglang 29.4 (29.1 تا 29.8) 270 ms 32.0 ms 35 (34 تا 42) ms 2,411 MHz
2 vllm 44.7 (44.5 تا 45.0) 151 ms 44.0 ms 49 (47 تا 55) ms 2,411 MHz
2 vllm-eager 42.3 (42.1 تا 42.6) 145 ms 46.5 ms 51 (50 تا 53) ms 2,411 MHz
2 vllm-async 44.2 (44.1 تا 44.5) 154 ms 44.4 ms 48 (48 تا 56) ms 2,411 MHz
2 sglang 44.6 (44.4 تا 45.2) 72 ms 44.6 ms 49 (48 تا 56) ms 2,411 MHz
4 vllm 57.1 (56.5 تا 57.2) 250 ms 69.2 ms 76 (76 تا 77) ms 2,411 MHz
4 vllm-eager 55.3 (54.9 تا 55.4) 245 ms 71.4 ms 78 (78 تا 78) ms 2,411 MHz
4 vllm-async 56.1 (55.6 تا 56.1) 256 ms 70.6 ms 77 (77 تا 78) ms 2,411 MHz
4 sglang 57.7 (57.6 تا 58.1) 115 ms 69.5 ms 79 (75 تا 82) ms 2,411 MHz
8 vllm 75.7 (71.8 تا 78.7) 378 ms 99.9 ms 115 (115 تا 117) ms 2,411 MHz
8 vllm-eager 72.8 (68.9 تا 75.4) 337 ms 104.7 ms 121 (121 تا 123) ms 2,411 MHz
8 vllm-async 74.9 (71.1 تا 77.8) 441 ms 101.2 ms 117 (117 تا 118) ms 2,411 MHz
8 sglang 75.5 (72.3 تا 78.7) 214 ms 101.3 ms 117 (117 تا 121) ms 2,411 MHz
16 vllm 101.1 (100.1 تا 103.9) 529 ms 153.9 ms 228 (179 تا 235) ms 2,411 MHz
16 vllm-eager 98.8 (97.7 تا 101.1) 541 ms 158.2 ms 216 (175 تا 239) ms 2,411 MHz
16 vllm-async 99.8 (99.0 تا 102.7) 555 ms 156.3 ms 226 (176 تا 230) ms 2,411 MHz
16 sglang 103.4 (102.4 تا 106.7) 258 ms 152.2 ms 164 (163 تا 169) ms 2,411 MHz
32 vllm 154.1 (152.1 تا 154.8) 644 ms 198.2 ms 478 (472 تا 479) ms 2,411 MHz
32 vllm-eager 149.1 (131.4 تا 150.9) 659 ms 204.2 ms 474 (465 تا 474) ms 2,411 MHz
32 vllm-async 150.2 (148.1 تا 150.7) 644 ms 203.4 ms 477 (473 تا 479) ms 2,411 MHz
32 sglang 154.6 (152.4 تا 155.9) 401 ms 195.9 ms 220 (216 تا 220) ms 2,411 MHz
64 vllm 239.3 (236.3 تا 244.7) 965 ms 243.8 ms 528 (510 تا 529) ms 2,398 MHz
64 vllm-eager 237.5 (232.9 تا 240.0) 774 ms 248.0 ms 509 (501 تا 511) ms 2,398 MHz
64 vllm-async 235.9 (233.2 تا 240.2) 961 ms 249.1 ms 527 (524 تا 529) ms 2,398 MHz
64 sglang 245.1 (239.4 تا 247.7) 573 ms 246.0 ms 271 (268 تا 273) ms 2,411 MHz

کارت GB10، پرامپت‌های ترکیبی: طول پرامپت 1,024 تا 4,096 توکن، طول خروجی 64 تا 256 توکن، بر اساس نرخ ورودی

نرخ ورودی کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
0.5 vllm 72.3 (59.0 تا 72.7) 1,135 ms 148.5 ms 571 (486 تا 588) ms 2,398 MHz
0.5 vllm-mnbt-2048 72.0 (58.8 تا 72.6) 1,145 ms 149.3 ms 574 (483 تا 594) ms 2,398 MHz
0.5 vllm-mnbt-16384 72.5 (59.3 تا 73.1) 906 ms 139.4 ms 798 (685 تا 799) ms 2,398 MHz
0.5 sglang 70.9 (58.1 تا 71.1) 841 ms 170.1 ms 922 (811 تا 925) ms 2,411 MHz
1 vllm 107.8 (96.9 تا 112.8) 462 ms 155.1 ms 417 (181 تا 432) ms 2,411 MHz
1 vllm-mnbt-2048 107.8 (97.4 تا 113.0) 454 ms 156.5 ms 405 (187 تا 427) ms 2,411 MHz
1 vllm-mnbt-16384 107.2 (96.6 تا 113.2) 477 ms 156.9 ms 395 (201 تا 427) ms 2,411 MHz
1 sglang 108.8 (95.6 تا 113.7) 244 ms 161.9 ms 219 (179 تا 236) ms 2,411 MHz
2 vllm 128.8 (123.2 تا 135.7) 584 ms 204.7 ms 590 (474 تا 615) ms 2,411 MHz
2 vllm-mnbt-2048 128.1 (124.0 تا 135.7) 560 ms 205.5 ms 587 (477 تا 609) ms 2,411 MHz
2 vllm-mnbt-16384 127.6 (122.6 تا 135.6) 595 ms 205.1 ms 586 (479 تا 609) ms 2,411 MHz
2 sglang 133.2 (124.8 تا 139.8) 238 ms 189.8 ms 261 (234 تا 286) ms 2,411 MHz

کارت GB10، تست امواج

نسبت کانفیگ توکن خروجی بر ثانیه (حداقل تا حداکثر) میانه‌ی TTFT میانه‌ی TPOT صدک P99 شاخص ITL (حداقل تا حداکثر) میانه‌ی فرکانس SM
0 vllm 97.0 (93.3 تا 97.8) 476 ms 154.6 ms 183 (181 تا 184) ms 2,411 MHz
0 vllm-async 96.7 (92.9 تا 97.5) 472 ms 155.5 ms 191 (182 تا 195) ms 2,411 MHz
0 sglang 96.6 (93.4 تا 97.0) 324 ms 155.6 ms 214 (191 تا 225) ms 2,411 MHz
0.5 vllm 99.0 (98.9 تا 99.7) 454 ms 152.7 ms 188 (182 تا 191) ms 2,411 MHz
0.5 vllm-async 98.9 (98.8 تا 100.3) 459 ms 152.5 ms 183 (182 تا 193) ms 2,411 MHz
0.5 sglang 99.5 (98.5 تا 100.1) 315 ms 153.4 ms 198 (193 تا 201) ms 2,411 MHz
1 vllm 97.7 (96.3 تا 99.6) 1,185 ms 157.6 ms 394 (389 تا 402) ms 2,411 MHz
1 vllm-async 97.7 (96.9 تا 99.7) 1,212 ms 157.9 ms 405 (360 تا 411) ms 2,411 MHz
1 sglang 101.4 (100.3 تا 104.2) 1,275 ms 149.7 ms 159 (159 تا 190) ms 2,411 MHz

منابع داده: capture/gpu/summary/l4.json، capture/gpu/summary/gb10.json، capture/gpu/out-l4/، capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/load-flushed-vs-unflushed.txt، capture/gpu/out-l4/gsm8k-fp8-accuracy.txt، capture/gpu/out-l4/batch-invariant-cost.txt، capture/gpu/out-l4/admission-cap-64-users.txt و capture/gpu/out-l4/eagle3-long-outputs.txt.

ترجمه‌ی فارسی Lab notes از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما