وضعیت
دو مهندس برای گزارشی که مشخص میکند آیا تیم باید موتور فعلی را نگه دارد یا نه، یک سرور vLLM را ارزیابی میکنند که مدل Qwen/Qwen3-0.6B را روی یک کارت گرافیک L4 اشتراکی اجرا میکند. مهندس اول از کلاینت بنچمارک SGLang با دمای (temperature) 0.7 (همان دمای محیط عملیاتی) استفاده میکند و میانهی زمان انتظار 1,212 میلیثانیهای برای اولین توکن در بار 16 کاربر و خروجی 331 توکن در ثانیه در بار 64 کاربر را ثبت میکند. مهندس دوم از vllm bench serve با دمای 0 استفاده میکند و روی همان سرور به اعداد 1,027 میلیثانیه و خروجی 379 توکن در ثانیه میرسد.
مهندس اول نتیجه میگیرد سرور بین این دو نشست دچار افت عملکرد شده و خواستار بازگشت به عقب (rollback) برای آخرین ایمیج میشود. مهندس دوم میگوید کلاینت اول خراب است. همتیمی سوم هر سه کلاینت (کلاینت SGLang و دو نسخهی کلاینت vLLM) را بهصورت نوبتهای متناوب روی یک سرور اجرا میکند و خروجی را به شما تحویل میدهد.
- نسخه
- vLLM 0.31.0, measured by the SGLang 0.5.22 client and by vllm bench serve
- مدل
- Qwen/Qwen3-0.6B
- سختافزار
- the shared second L4 of a two-GPU node, throttled but steady at 420 to 495 MHz
شواهد
first-token-by-client.txt
title: median TTFT in ms from three clients at two temperatures
source: manuals/vllm-101/capture/gpu/out-l4/bench-client-bias.txt
lines: 8-16
lang: text
note: Compare the SGLang client column with the vllm bench column on each row.
---
Median TTFT in ms, two rounds per cell:
users temperature SGLang client vllm bench vllm bench, Rust
1 0 154, 164 149, 150 144, 144
1 0.7 165, 165 149, 150 150, 150
16 0 1,077, 1,045 1,033, 1,027 1,088, 1,038
16 0.7 1,212, 1,089 1,027, 1,038 1,066, 1,042
64 0 1,688, 1,838 1,624, 1,667 1,674, 1,789
64 0.7 1,765, 1,726 1,705, 1,675 1,687, 1,879
one-server-three-clients.txt
title: one server, three clients, and the rules of the run
source: manuals/vllm-101/capture/gpu/out-l4/bench-client-bias.txt
lines: 1-6
lang: text
note: Read the clock line and the last line: the cache was flushed before every run and the clients took turns.
---
Three benchmark clients against one server (backlog B-14)
Date: 2026-10-23
Machine: NVIDIA L4, the second GPU of the node (GPU1), shared with its owner. The clock was throttled but steady at 420 to 495 MHz for every run.
Server: one vLLM 0.31.0 server with Qwen/Qwen3-0.6B.
Clients: the SGLang 0.5.22 client with --backend vllm and the random-ids dataset, vllm bench serve with the random dataset, and vllm bench serve with VLLM_USE_RUST_BENCH=1.
All runs: 512 tokens in and 128 out, ignore EOS, seed 1, prefix cache flushed before every run, 2 rounds interleaved by client.
report-the-client.txt
title: how the SGLang manual reads the same table
source: manuals/sglang-101/sections/5-1-sglang-benchmark-serving.md
lines: 353-358
lang: text
note: Read the last sentence.
---
- Our client read a median TTFT 3 to 10 percent higher than `vllm bench serve`. At 16 and 64 users, it read an output throughput 2 to 8 percent lower. At one user, one of its rounds read a higher throughput than every other round, so we give no throughput gap there.
- The Python and the Rust versions of `vllm bench serve` agreed within the noise.
- The clients send different prompt tokens from their random datasets, so part of a small gap can come from the prompts.
- Temperature 0.7 raised the median TPOT over temperature 0. It was 10 to 13 percent higher at one user, and 3 to 6 percent higher at 16 and 64 users.
So a gap of a few percent between two published numbers can come from the client alone. Report the client and the temperature with every result.
the-four-mistakes.txt
title: the four mistakes that make two runs disagree
source: manuals/vllm-101/sections/5-1-benchmark-your-server-in-15-minutes.md
lines: 79-84
lang: text
note: Each item is one variable to hold fixed.
---
## Avoid the four mistakes
1. **Reusing a warm cache.** With the random dataset and a fixed seed, a second run sends the same prompts. The prefix cache then serves part of them, and the second run looks faster. The next section gives the protocol.
2. **Letting the model stop early.** Without `--ignore-eos`, some answers end before the output length. The run then measures fewer tokens than you asked for.
3. **Skipping the warmup.** The first requests after a start pay for compiled kernels and cold caches. Use `--num-warmups` or send a few requests before you measure.
4. **Ignoring the clock.** A GPU that throttles or that other work shares runs slower. Record `nvidia-smi --query-gpu=clocks.sm,temperature.gpu --format=csv -l 1` during the run. Compare two runs only at similar clocks.
throughput-by-client.txt
title: output tokens per second from three clients
source: manuals/vllm-101/capture/gpu/out-l4/bench-client-bias.txt
lines: 18-24
lang: text
note: Compare the columns at 16 and 64 users, then look at the first SGLang round at one user.
---
Output throughput in tok/s, two rounds per cell:
users temperature SGLang client vllm bench vllm bench, Rust
1 0 39.9, 31.0 32.0, 31.9 32.2, 31.8
16 0 218, 216 222, 222 223, 223
64 0 359, 348 379, 377 371, 365
64 0.7 331, 343 360, 363 356, 353
what-the-run-showed.txt
title: the four findings written under the tables
source: manuals/vllm-101/capture/gpu/out-l4/bench-client-bias.txt
lines: 26-29
lang: text
note: The third line names the confound, and the fourth gives the cost of temperature.
---
The two vllm bench clients agree within noise.
The SGLang client reads 3 to 10 percent higher TTFT than vllm bench. At 16 and 64 users it reads 2 to 8 percent lower throughput. At 1 user, one SGLang round read 39.9 tok/s against about 32 for every other round, so the throughput gap does not hold there. One outlier round reached 18 percent at 16 users and temperature 0.7.
The clients use different prompt token sets (random-ids against random), which is a confound for small gaps.
Temperature 0.7 against 0: TPOT about 10 to 13 percent higher at 1 user (34 ms at 0.7 against 30 ms at 0), and 3 to 6 percent higher at 16 and 64 users. Throughput 3 to 10 percent lower.
سؤالها
- قبل از خواندن جدولها، متغیرهایی را که بهجز سرور بین دو گزارش تفاوت داشتند فهرست کنید.
- کدام خانههای جدول TTFT اثر کلاینت را ایزوله میکنند و اندازهی این اثر چقدر است؟
- کدام خانهها اثر دما را ایزوله میکنند و دما بیشترین تغییر را روی کدام سنجه میگذارد؟
- چرا یک نوبت اجرا با یک کاربر، یافتهی مربوط به نرخ پردازش (throughput) را نقض نمیکند؟
- این دو کلاینت پرامپتهای متفاوتی میفرستند. چرا این متغیر اینجا یک عامل مخدوشکننده (confound) است و نه علت اصلی؟
- قاعدهی بنچمارکی را که میتوانست جلوی این اختلاف را بگیرد، در چهار خط بنویسید.
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- ابتدا متغیرها را فهرست کنید. این دو گزارش در کلاینت، مجموعهدادهای که کلاینت از آن استفاده میکند، دما و نشست کاری (و در نتیجه در فرکانس کاری و وضعیت کش) با هم تفاوت دارند. سرور تنها نقطهی مشترک آنها است. برای اختلافی در این ابعاد، قبل از آنکه سرور جزو گزینهها باشد، چهار علت احتمالی دیگر وجود دارد.
- شرایط آزمون را بررسی کنید. اجرای همتیمی سوم چهار مورد از این متغیرها را ثابت نگه میدارد: یک سرور؛ فرکانس کاری در تمام طول اجرا بین 420 تا 495 مگاهرتز ماند (محدودشده اما پایدار)، بنابراین فرکانس کاری نمیتواند عامل اختلاف کلاینتها باشد؛ کش پیشوند قبل از هر اجرا خالی شد؛ دو نوبت اجرا بهصورت متناوب بین کلاینتها انجام شد تا دریفت (drift) در طول نشست روی همهی کلاینتها یکسان اثر بگذارد؛ هر اجرا 512 توکن ورودی و 128 توکن خروجی با seed برابر با 1 ارسال کرد و توکن پایان نادیده گرفته شد.
- اثر کلاینت را در جدول TTFT ایزوله کنید. خانههای مربوط به دمای یکسان را در ستونها مقایسه کنید. با یک کاربر و دمای 0، کلاینت SGLang اعداد 154 و 164 میلیثانیه، ابزار
vllm benchاعداد 149 و 150 و نسخهی Rust آن 144 و 144 میلیثانیه را ثبت کردند. در 16 کاربر: 1,077 و 1,045 در برابر 1,033 و 1,027. در 64 کاربر: 1,688 و 1,838 در برابر 1,624 و 1,667. کلاینت SGLang در تمام خانهها زمان بالاتری را برای اولین توکن ثبت میکند. دو کلاینت vLLM در محدودهی نویز با یکدیگر همخوانی دارند، که کف نویز (noise floor) را در یک کاربر چند میلیثانیه و در 64 کاربر چند ده میلیثانیه نشان میدهد. - اثر دما را ایزوله کنید. سطرها را در یک کلاینت یکسان مقایسه کنید. برای کلاینت SGLang در 16 کاربر، دمای 0.7 زمانهای 1,212 و 1,089 میلیثانیه را در برابر 1,077 و 1,045 در دمای 0 ثبت کرد. یادداشتهای زیر جدول سنجهای را مشخص میکنند که دما بیشترین تغییر را رویش میگذارد: میانهی زمان بهازای هر توکن خروجی (TPOT) در یک کاربر بین 10 تا 13 درصد بیشتر بود (34 میلیثانیه در برابر 30 میلیثانیه) و در 16 و 64 کاربر حدود 3 تا 6 درصد افزایش یافت. نرخ پردازش نیز 3 تا 10 درصد افت کرد. نمونهبرداری (sampling) بهازای هر توکن یک کرنل (kernel) هزینه روی دست سرور میگذارد، درحالیکه هزینهای برای کلاینت ندارد؛ بنابراین روی این کارت، سرور در دمای 0.7 دقیقاً به همین اندازه کندتر عمل میکند.
- جدول نرخ پردازش را همراه با دادهی پرت بررسی کنید. در 16 کاربر، کلاینت SGLang نرخ 218 و 216 توکن در ثانیه را در برابر 222 و 222 ثبت کرد. در 64 کاربر، این اعداد 359 و 348 در برابر 379 و 377 بودند. در یک کاربر، یکی از نوبتهای SGLang عدد 39.9 را در برابر حدود 32 برای همهی دورهای دیگر ثبت کرد. یک نوبت از دو نوبت اجرا نمیتواند مبنای یک یافتهی آماری باشد، بنابراین در یادداشتها برای یک کاربر هیچ اختلافی در نرخ پردازش ذکر نشده است. اختلاف در 16 و 64 کاربر بین 2 تا 8 درصد و اختلاف TTFT بین 3 تا 10 درصد است.
- عامل مخدوشکننده را مشخص کنید. کلاینت SGLang پرامپتهای خود را از
random-idsبرمیداشت وvllm benchازrandom. بنابراین دو کلاینت مجموعهتوکنهای متفاوتی ارسال میکردند و بخشی از این اختلاف چنددرصدی میتواند ناشی از خود پرامپتها باشد، نه کد کلاینت. آزمون فعلی نمیتواند این دو را از هم تفکیک کند؛ در نتیجه اثر ترکیبی کلاینت را گزارش میدهد و این متغیر را بهعنوان عامل مخدوشکننده نام میبرد. برای اثبات یک رابطهی علی و معلولی، باید پرامپتهای کاملاً یکسان از هر دو کلاینت عبور داده میشدند. - دو گزارش را کنار هم بگذارید. گزارش اول مربوط به کلاینت SGLang در دمای 0.7 است. گزارش دوم مربوط به
vllm benchدر دمای 0. شکاف بین آنها حاصلجمع اثر کلاینت و اثر دما است که در روزهای متفاوت و بدون ثبت وضعیت فرکانس کاری اندازهگیری شدهاند. هیچ بخشی از این دادهها به مشکلی در ایمیج اشاره نمیکند.
نتیجه
نه افتی در عملکرد سرور رخ داده و نه کلاینتی خراب است. این دو گزارش دو روش متفاوت را اندازهگیری کردهاند. روی این سرور، کلاینت SGLang در 16 و 64 کاربر میانهی TTFT را 3 تا 10 درصد بالاتر و خروجی را 2 تا 8 درصد پایینتر از vllm bench serve ثبت میکند (که عامل مخدوشکنندهی پرامپت را هم در خود دارد)، و دمای 0.7 در مقایسه با دمای 0، زمان پردازش هر توکن را در بار تککاربره 10 تا 13 درصد بالا میبرد. دو کلاینت vLLM در محدودهی نویز با هم تطابق داشتند؛ مقداری که اندازهی یک تفاوت واقعی روی این کارت را نشان میدهد.
بازگشت به عقب لغو میشود. قاعدهی تیم در چهار خط خلاصه میشود: ثبت یک کلاینت، یک مجموعهداده و یک دما در کنار هر عدد؛ اجرای نوبتهای متناوب، حداقل دو نوبت؛ پاکسازی کش قبل از هر اجرا؛ و ثبت فرکانس پردازنده (SM clock)، چرا که مقایسهی ما فقط به این دلیل معتبر ماند که فرکانس در طول آزمون بین 420 تا 495 مگاهرتز تثبیت شده بود. در آینده، گزارشی با کلاینت یا دمای متفاوت، یک خط مبنای (baseline) جدید است، نه مقایسهای معتبر با گزارش قبلی.
مسیرهای اشتباه رایج
- «سرور افت کرده است، ایمیج را به عقب برگردانید.» در دو گزارش اولیه، کلاینت و دما همزمان و در دو نشست متفاوت تغییر کرده بودند. اجرای کنترلشده نشان میدهد که همین دو فاکتور بهتنهایی برای توجیه چنین اختلافی کافی هستند.
- «کلاینت SGLang خراب است، چون سرور را کندتر نشان میدهد.» هر دو کلاینت vLLM نیز در دمای 0.7 سرور را کندتر از دمای 0 نشان میدهند، و اختلاف کلاینت SGLang حدود 3 تا 10 درصد به همراه متغیر مخدوشکنندهی پرامپت است. کلاینتی که چند درصد بالاتر را میخواند، خطکشی با درجهبندی متفاوت است، نه یک خطکش خراب.
- «از هر دو گزارش میانگین بگیرید.» آنها متغیرهای مختلفی را اندازه گرفتهاند. میانگین اجرای دمای 0.7 و دمای 0 عددی تولید میکند مربوط به دمایی که هیچکس با آن سرویسدهی نمیکند.
- «آزمون را در یک کاربر اجرا کنید که اعداد نزدیکتر و فشردهتر هستند.» با یک کاربر، یکی از نوبتهای اجرای SGLang به عدد 39.9 توکن بر ثانیه رسید، درحالیکه در سایر دورها حدود 32 بود. بارهای کاری سبک هم از دادههای پرت در امان نیستند، و وجود یک دادهی پرت در یک خانهی دونوبته، نتیجه را کاملاً دگرگون میکند.
درس کلی
عدد بهدستآمده از بنچمارک، ویژگی کل روش است، نه سرور. دو عدد فقط زمانی قابلمقایسهاند که تمام بخشهای روش—بهجز مورد تحت آزمون—کاملاً ثابت بمانند: کلاینت، مجموعهداده، تنظیمات نمونهبرداری، وضعیت کش، فرکانس کاری و ترتیب نوبتهای اجرا. هرگاه دو گزارش با هم اختلاف داشتند، قبل از مقصر دانستن سیستم، همهی تفاوتها را فهرست کنید و اندازهی هر تفاوت را با آزمایشی بسنجید که در هر بار فقط یک متغیر را تغییر میدهد.
کجای دوره آموزش داده میشود
مستندات vLLM این سه کلاینت را در صفحهی بنچمارک با هم مقایسه میکند، راهنمای SGLang همین جدول را در صفحهی بنچمارک خود بازخوانی میکند، و درس تست بار دلایل اثرگذاری بستر آزمایشی (harness) بر خروجی اعداد را شرح میدهد.