دو مهندس در یک روز واحد، سروری یکسان را بنچمارک میکنند و اعدادی گزارش میدهند که چند درصد با هم تفاوت دارد. هر دو هم از کلاینتهای استاندارد بنچمارک استفاده کردهاند. پیش از آنکه سراغ سرور بروید، چه عواملی در خودِ کلاینتها میتواند این اختلاف را توجیه کند و چه قوانینی باید برای تیم تعیین کنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
کلاینت بخشی از اندازهگیری است. روی یک سرور vLLM، کلاینت SGLang میانهٔ زمان اولین توکن را 3 تا 10 درصد بیشتر و نرخ پردازش (throughput) خروجی را 2 تا 8 درصد کمتر از کلاینت vLLM خواند؛ دو کلاینت پرامپتهای تصادفی متفاوتی فرستادند؛ و دمای 0.7 زمان به ازای هر توکن را در حالت تککاربره نسبت به دمای 0 بین 10 تا 13 درصد افزایش داد. قوانین اینها هستند: یک کلاینت، یک دما، یک توزیع طول پرامپت با ذکر نسبت بازه (range ratio)، پاکسازی کش و یک سید (seed) جدید برای هر اجرا، ثبت کلاک سختافزار، و درج تمام این جزئیات در کنار تکتک اعداد.
پاسخ کامل
سه کلاینت روی یک سرور
در این راهنما، کلاینت SGLang، ابزار vllm bench serve و نسخهٔ Rust آن را در برابر یک سرور vLLM با مدل Qwen/Qwen3-0.6B اجرا کردیم؛ به این صورت که پیش از هر اجرا کش ریست شد و کلاینتها در دو دور بهصورت متناوب اجرا شدند. توکنهای خروجی در ثانیه با 64 کاربر:
| دما | کلاینت SGLang | vllm bench | vllm bench نسخهٔ Rust |
|---|---|---|---|
| 0 | 359، 348 | 379، 377 | 371، 365 |
| 0.7 | 331، 343 | 360، 363 | 356، 353 |
دو کلاینت vLLM در حالتهای 1، 16 و 64 کاربر، در محدودهٔ خطای طبیعی نتایج یکسانی ثبت کردند. کلاینت SGLang سرور را کندتر ارزیابی کرد: میانهٔ زمان اولین توکن 3 تا 10 درصد بیشتر، و در 16 و 64 کاربر نرخ پردازش خروجی 2 تا 8 درصد کمتر بود. این دو کلاینت توکنهای پرامپت متفاوتی از دیتاستهای تصادفی خود ارسال میکنند؛ بنابراین بخشی از این اختلاف کوچک میتواند از پرامپتها باشد. دمای 0.7 میانهٔ زمان به ازای هر توکن را نسبت به دمای 0 در یک کاربر بین 10 تا 13 درصد و در 16 و 64 کاربر بین 3 تا 6 درصد افزایش داد.
چهار پیشفرضی که نتیجه را تغییر میدهند
کلاینت SGLang پیش از اندازهگیری هر چیزی، این انتخابها را انجام میدهد:
| تنظیم | مقدار پیشفرض | تأثیر آن روی نتیجه |
|---|---|---|
--random-range-ratio |
0.0 | هر طول بهصورت تصادفی از 1 تا طول درخواستی شما انتخاب میشود؛ بنابراین میانگین طول پرامپت تقریباً نصف آن است |
ignore_eos |
on | تمام درخواستها دقیقاً به همان اندازهٔ طول خروجی درخواستی توکن تولید میکنند |
--request-rate |
inf | همهٔ درخواستها در لحظهٔ 0 ارسال میشوند و تنها سقف همروندی مانع ورود آنهاست |
--warmup-requests |
1 | پیش از شروع زمانسنجی، یک درخواست برای گرمکردن (warmup) اجرا میشود |
سطر اول همان دام اصلی است. با نسبت پیشفرض، اگر طول ورودی را 512 بگذارید، میانگین پرامپتها حدود 256 توکن خواهد بود، در حالی که گزارش عدد 512 را نشان میدهد. باید مقدار 1.0 را پاس بدهید یا توزیع طول ورودی را کنار نتیجه بنویسید. با مقدار 1.0، تعداد 32 پرامپت با طول 512 توکن، مجموع ورودی 16384 را در گزارش ثبت میکند.
طولهای ثابت موج ایجاد میکنند
وقتی نسبت روی 1.0 باشد، همهٔ درخواستها طول یکسانی دارند؛ در نتیجه درخواستهایی که با هم شروع شدهاند با هم تمام میشوند و درخواستهای جایگزین نیز همزمان میرسند. با 16 کاربر روی پردازندهٔ L4، طولهای ثابت باعث شدند میانهٔ زمان تا اولین توکن (Time to First Token یا TTFT) به 1996 میلیثانیه و صدک 99 تاخیر بینتوکنی (Inter-Token Latency یا ITL) به 82 میلیثانیه برسد؛ در مقابل، طولهای متغیر به ترتیب 291 میلیثانیه و 300 میلیثانیه دادند. این دو تنظیم در عمل دو سرور متفاوت را اندازه میگیرند. طولهای ثابت حالت انفجاری (bursts) را با اولین توکن کند و توکنهای بعدی روان میسنجند. طولهای متغیر ترافیک یکنواخت را با اولین توکن سریع و توقفهای مقطعی در جریان خروجی اندازه میگیرند. برای مقایسهٔ دو بیلد مختلف، نسبت را روی 1.0 نگه دارید؛ اما قبل از تعیین هدف تاخیر (latency target)، ترکیب واقعی طولهای ورودی خود را اجرا کنید.
صف درونی خودِ کلاینت
کلاینت SGLang تمام درخواستها را از یک فرایند (process) پایتون ارسال میکند. پژوهشی در سال 2026 نشان داد که چنین کلاینتی در نرخهای درخواست بالا، صف خودش را اضافه میکند و سپس زمان اولین توکن و زمان به ازای هر توکن را بالاتر از عملکرد واقعی سرور گزارش میدهد. پیش از اعتماد به عددی در نرخهای بالا، یک فرایند کلاینت را با دو فرایند که هر کدام نیمی از نرخ را میفرستند مقایسه کنید. این درس همین دام را برای یک ابزار عمومی تست بار برمیشمرد: توکنسازی (tokenization) تحت قفل مفسر در کلاینت، تاخیر بینتوکنی گزارششده را بهصورت کاذب بالا میبرد؛ و ارسال یک پرامپت در حلقه، تقریباً در تمام درخواستها به کش پیشوند (prefix cache) برخورد کرده و نرخ پردازش را غیرواقعی نشان میدهد.
اسکریپتهای دستنویس
در یک گزارش، سرعت مدلی بزرگ روی هشت GPU معادل 13 توکن در ثانیه اندازهگیری شد؛ در حالی که یک API میزبانیشده عدد 60 را نشان میداد. اسکریپت مورد استفاده، کلمات را با جداکنندهٔ فاصله شمرده بود و زمانِ اولین توکن را در نرخ پردازش حساب کرده بود. کلمه توکن نیست و TTFT هم زمان رمزگشایی (decode) نیست. از کلاینت بنچمارک استفاده کنید که توکنها را میشمارد و TTFT را از زمان به ازای هر توکن خروجی (Time Per Output Token یا TPOT) جدا نگه میدارد.
قوانین
- یک کلاینت، یک نسخه، ثبتشده در تمام نتایج.
- یک دما، ثبتشده در تمام نتایج.
- مقدار
--random-range-ratio 1.0، یا ثبت مکتوب توزیع طول ورودی. - پاکسازی کامل (flush) و یک سید جدید پیش از هر اجرا، همراه با ثبت توکنهای کششده.
- ثبت کلاک GPU و کنار گذاشتن تستهای داغ (hot runs).
- گزارش نرخ پردازش منحصراً همراه با میانه و صدک 99 معیارهای TTFT و TPOT در همان سقف همروندی.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا نسبت بازهٔ پیشفرض، نیمی از بار کاری را توصیف میکند؟ پاسخ مورد انتظار: هر طول بهصورت تصادفی از 1 تا طول درخواستی انتخاب میشود؛ بنابراین میانگین پرامپت حدوداً نصف آن است. با مقدار 1.0 هر پرامپت طول کامل دارد و مجموع توکنهای ورودی در گزارش نیز این را تأیید میکند.
- سطح 3: طولهای ثابت اولین توکن دیرتر و جریانی یکنواخت دادند، در حالی که طولهای متغیر برعکس بودند. از کدام استفاده میکنید؟ پاسخ مورد انتظار: طول ثابت برای مقایسهٔ دو بیلد، چون دقیقاً تکرارپذیر است؛ ترکیب واقعی طولهایتان پیش از تعیین هدف تاخیر، زیرا این دو الگو دو سرور متفاوت را اندازه میگیرند.
- سطح 3: حلقهٔ زمانسنجی دستنویس یکی از همتیمیها 13 توکن در ثانیه ثبت کرده، در حالی که یک API میزبانیشده عدد 60 را نشان میدهد. ایراد حلقه چیست؟ پاسخ مورد انتظار: کلمات را با جداکنندهٔ فاصله شمرده و زمان اولین توکن را در نرخ وارد کرده است؛ کلمه توکن نیست و TTFT هم زمان رمزگشایی نیست، بنابراین باید از کلاینت بنچمارک استفاده شود.
- سطح 4: در نرخ 16 درخواست در ثانیه، کلاینت زمان اولین توکنی گزارش میدهد که باورش ندارید. خودِ کلاینت را چطور بررسی میکنید؟ پاسخ مورد انتظار: کلاینت تکفرایندی در نرخهای بالا صف اختصاصی خودش را ایجاد میکند؛ دو فرایند کلاینت اجرا کنید که هر کدام نیمی از نرخ را بفرستند و مقایسه کنید، همچنین مصرف CPU کلاینت را ثبت کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «هر دو کلاینت استاندارد هستند، پس اعداد قابل مقایسهاند.» روی یک سرور، کلاینت SGLang زمان اولین توکن را 3 تا 10 درصد بیشتر و نرخ پردازش را 2 تا 8 درصد کمتر از کلاینت vLLM خواند؛ اختلاف چند درصدی میتواند صرفاً از سمت خودِ کلاینت باشد.
- «دما سرعت را تغییر نمیدهد.» دمای 0.7 در مقایسه با دمای 0، میانهٔ زمان به ازای هر توکن را در یک کاربر 10 تا 13 درصد و در 16 و 64 کاربر 3 تا 6 درصد افزایش داد.
- «طول ورودی را 512 بگذارید، پرامپتها 512 توکنی میشوند.» با نسبت بازهٔ پیشفرض 0.0، میانگین پرامپتها حدود 256 توکن است؛ مقدار 1.0 را پاس بدهید یا توزیع را مشخص کنید.
- «ابزار تست باری که HTTP را مدیریت کند، ترافیک مدل را هم مدیریت میکند.» یک ابزار عمومی یک پرامپت را در حلقه ارسال میکند که تقریباً هر بار به کش پیشوند برخورد میکند، ضمن اینکه فواصل بین توکنها در استریم را نمیخواند؛ از کلاینتی استفاده کنید که از طول پرامپتها نمونهبرداری کند و توکنها را بشمارد.
کجای دوره آموزش داده میشود
بخشهای سرورتان را در 15 دقیقه بنچمارک کنید و بخش بنچمارک SGLang کلاینتها را مقایسه میکنند، و درس تست بار به این دو دام ناشی از کلاینتها میپردازد.