در چت، بدترین فاصله بین توکنها از نرخ پردازش مهمتر است؛ پس همگام با افزایش کاربران، حواستان به P99 ITL باشد.
سرویس چت شما برای چند کاربر خروجی را روان استریم میکند، اما برای کاربران زیاد فاصلههای طولانی بین توکنها میاندازد. بعد از خواندن این بخش، میتوانید با رشد تعداد کاربران هم استریم را پایدار نگه دارید.
نتیجهی ما: روی L4 ما، در 16 کاربر حدود دو سوم درخواستها به هدف تاخیر رسیدند و در 32 کاربر، هیچکدام نرسیدند. محدود کردن دسته (batch) هم مشکل را حل نکرد.
شناخت حس کاربر چت
یک کاربر چت دو عدد را حس میکند: اولی زمان تا رسیدن اولین توکن (TTFT) است و دومی فاصلهی بین توکنها حین استریم پاسخ (ITL). شما بابت نرخ پردازش پول میدهید، ولی کاربر آن را نمیبیند.
حواستان به P99 ITL باشد، یعنی بدترین فاصله میان 100 توکن. یک مکث طولانی وسط استریم، حس خیلی بدتری از یک استریم کمی کندتر به کاربر میدهد. برای هر دو عدد هدف تعیین کنید. هدف ما رسیدن اولین توکن ظرف 1 ثانیه و تاخیر 100 میلیثانیه یا کمتر برای هر توکن بود.
شناسایی محل شکست استریم
ما تعداد کاربران همزمان را سنجیدیم: از 1 تا 64 کاربر روی L4 با مدل Qwen/Qwen3-8B در تاریخ 2026-10-21، در نشست با کلاک کامل. هر درخواست 512 توکن پرامپت میفرستاد و 128 توکن میخواست، با سه سید (seed) به ازای هر نقطه.
| کاربران، نشست L4 با کلاک کامل | توکن خروجی بر ثانیه | میانهی TTFT | صدک 99 ITL | سهم درخواستهای منطبق بر هدف | میانهی کلاک SM |
|---|---|---|---|---|---|
| 8 | 112.8 | 0.25 s | 67 ms | 75% | 1,485 MHz |
| 16 | 201.3 | 0.29 s | 85 ms | 64% | 1,455 MHz |
| 32 | 275.1 | 1.80 s | 613 ms | 0% | 1,275 MHz |
| 64 | 242.3 | 11.18 s | 1,233 ms | 0% | 1,005 MHz |
تا 16 کاربر، با هر کاربر جدید خروجی بیشتر میشد و استریم پایدار میماند. اما در 16 کاربر، از هر سه درخواست یکی اولین توکنش را خیلی دیر گرفت. در 32 کاربر خروجی هنوز بالا میرفت، ولی P99 ITL هفت برابر شد و هیچ درخواستی به هدف نرسید. سرور شلوغ بود و کاربران معطل ماندند.
اثر بازاستفاده از کش پیشوند روی نتایج زیر 32 کاربر
در این ارزیابی، برای تمام تعداد کاربران از یک سرور استفاده شد و بین آنها کش پیشوند (prefix cache) ریست نشد. هر سید در تمام مراحل همان پرامپتهای اولیه را میفرستاد؛ به همین دلیل، خیلی از درخواستها پرامپت خود را در کش پیدا کردند و نیازی به پیشپرکنی (prefill) نداشتند. در تاریخ 2026-10-23 این آزمایش را دوباره روی همان L4 اجرا کردیم؛ این بار قبل از هر بار اجرا کش را ریست کردیم و کلاک را روی 900 MHz قفل نگه داشتیم. سپس آن را با اجرای بدون پاکسازی در همان نشست مقایسه کردیم:
median TTFT, flushed against unflushed
users vLLM SGLang
4 650 / 145 ms (4.5x) 532 to 645 / 141 ms (3.8 to 4.6x)
8 951 to 978 / 264 to 274 ms (3.6x) 1,174 to 1,273 / 173 to 178 ms (6.6 to 7.3x)
16 1,550 to 1,587 / 294 to 295 ms (5.3x) 1,804 to 1,944 / 218 ms (8.3 to 8.9x)
32 1,982 to 2,084 / 2,012 to 3,091 ms 3,216 to 3,228 / 2,710 to 2,917 ms
…سطرهای میانه TTFT. سهمی که به هدف رسیده و خطوط صدک 99 ITL حذف شدهاند.
با ریست کردن، 50 درصد از درخواستها در 8 کاربر به هدف ما رسیدند، در حالی که بدون ریست این رقم بین 75 تا 81 درصد بود. در 16 کاربر این سهم از حدود 65 درصد به 25 درصد سقوط کرد. مقدار P99 ITL در 16 کاربر با ریست 522 ms شد، در برابر 82 تا 84 ms در اجرای بدون پاکسازی در همان نشست. از 32 کاربر به بعد صف غالب شد و ریست کردن تفاوت چندانی ایجاد نکرد. بنابراین شکست استریم روی این کارت بین 8 تا 16 کاربر رخ میدهد، نه بین 16 تا 32. جدول بالا بهعنوان سندی از نشست با کلاک کامل باقی میماند.
روی این کارت گرافیک، هر گام سهمیهی 2,048 توکن دارد. با رسیدن پرامپتهای جدید، تکههای آنها این گام را با استریمهای جاری شریک میشوند؛ در نتیجه استریمهای جاری مکث میکنند. ترتیب این کار در صفحهی سهمیهی توکن توضیح داده شده است.
اثر تعیین سقف برای توالیها
گزینهی --max-num-seqs تعیین میکند چند درخواست همزمان اجرا شوند. روی L4 مقدار پیشفرض 256 است و قاعدهی مربوط به سایر GPUها در صفحهی سهمیهی توکن آمده است. ما آن را روی 16 گذاشتیم و همان آزمون را تکرار کردیم:
| کاربران، نشست L4 با کلاک کامل | پیکربندی | توکن خروجی بر ثانیه | میانهی TTFT | میانهی ITL | صدک 99 ITL | میانهی کلاک SM |
|---|---|---|---|---|---|---|
| 32 | پیشفرض | 275.1 | 1.8 s | 80.5 ms | 613 ms | 1,275 MHz |
| 32 | --max-num-seqs 16 |
171.8 | 12.3 s | 69.8 ms | 595 ms | 1,365 MHz |
تعیین این سقف، هر استریم را کمی روانتر کرد. اما نیمی از کاربران برای اولین توکن در صف منتظر ماندند و خروجی 38 درصد افت کرد. در اجرای با سقف محدود، کلاک بالاتر بود؛ پس این افت ناشی از کلاک نیست. در 64 کاربر، کلاک در اجرای با سقف تا 630 MHz افت کرد، بنابراین آن ردیف را مقایسه نمیکنیم.
سقف گذاشتن جایی برای کاربران بیشتر باز نمیکند؛ فقط تعیین میکند چه کسی معطل شود.
آزمون تعیین سقف در 64 کاربر
در 64 کاربر، مقدار P99 ITL در vLLM روی L4 ما بیش از یک ثانیه بود، در حالی که برای SGLang حدود 150 ms ثبت شد. در تاریخ 2026-10-23 سعی کردیم با اعمال یک سقف این فاصله را جبران کنیم. کلاک روی 900 MHz قفل شد و هر اجرا دو سید و یک بار ریست کش داشت. گزینهی --max-num-active-seqs یک سقف دوم در نسخهی 0.31.0 است که درخواستهای در حال اجرا در یک گام را محدود میکند.
config median SM clock (s1/s2) median TTFT P99 ITL output tok/s
SGLang default 900 / 900 19.4 s 143 to 153 ms 225 to 231
…
vLLM default, earlier run 900 11.8 s 1,359 ms 220
…
--max-num-seqs 32 900 / 795 17.2 to 20.6 s 1,163 to 1,399 ms 196 to 230
…
--max-num-active-seqs 48 900 / 900 11.8 s 1,329 to 1,373 ms 215 to 218
…
--max-num-active-seqs 16 795 / 683 44.8 to 48.8 s 1,133 to 1,139 ms 129 to 136سطرهایی از فایل شواهد. سطرهایی که بسیار پایینتر از قفل اجرا شدند حذف شدهاند.
هیچ سقفی که امتحان کردیم نتوانست P99 ITL را در vLLM به عدد SGLang نزدیک کند. در 16 یا 32 درخواست در حال اجرا، مقدار P99 ITL بالای 1.1 s ماند و رسیدن اولین توکن بین 17 تا 65 s معطلی داشت. خیلی از اجراها در این بخش زیر کلاک قفلشده کار کردند و فایل مربوطه همهی آنها را آورده است. بنابراین روی این کارت، گذاشتن سقف، وقفههای طولانی در 64 کاربر را حل نمیکند. کاهش کاربران به ازای هر رپلیکا (replica) مشکل را حل میکند.
پیامد کوچک بودن استخر حافظه
استخر کش کلید-مقدار (KV cache) هم تعداد کاربران را محدود میکند. ما عملکرد یک استخر با ظرفیت 6,560 توکن (با --num-gpu-blocks-override 410 و --max-model-len 4096) را در برابر استخر 24,096 توکنی خودمان سنجیدیم. هر دو در تاریخ 2026-10-22 روی L4 ما در نشست قفلشده روی 900 MHz، با 32 کاربر و دو سید به ازای هر کدام اجرا شدند.
| استخر حافظه، نشست L4 در حالت قفلشده | میانهی TTFT | صدک 99 TTFT | میانهی کلاک SM |
|---|---|---|---|
| 24,096 توکن | 3.1 s | 7.1 s | 881 MHz |
| 6,560 توکن | 31.6 s | 48.0 s | 248 MHz |
یک درخواست 640 توکنی تا پایان پردازشش به 640 توکن از استخر نیاز دارد. بنابراین در یک استخر 6,560 توکنی همزمان فقط حدود 10 درخواست جا میشوند. 22 کاربر دیگر معطل ماندند تا یکی از درخواستهای در حال اجرا تمام شود.
موتور vLLM فقط وقتی درخواست جدیدی را شروع میکند که بلوکهایش در استخر جا شوند. اگر درخواست در حال اجرایی به بلوک جدید نیاز داشته باشد، میتواند درخواست دیگری را بیرون بیندازد (push out) که vLLM آن را پیشدستی (Preemption) بهحساب میآورد. به همین دلیل بیشتر این 32 درخواست قبل از شروع در صف معطل ماندند.
در اجرای با استخر کوچک، کلاک به حدود 250 MHz افت کرد که پایینتر از کلاک قفلشده است. کلاکی که 3.6 برابر پایینتر باشد میتواند هر گام را تا 3.6 برابر کندتر کند. اولین توکن 10 برابر دیرتر رسید، بنابراین عامل اصلی معطلی همان صف بود. نرخ پردازش یا زمان به ازای هر توکنِ این دو اجرا را با هم مقایسه نکنید.
تنظیم سیستم
- اهداف خود را برای زمان رسیدن اولین توکن و زمان پردازش هر توکن مشخص کنید.
- بار کاری مدنظرتان را با کاربران بیشتر و بیشتر اجرا کنید و بالاترین تعدادی را که به هر دو هدف میرسد پیدا کنید.
- اگر مصرف کش کلید-مقدار نزدیک 100 درصد است و درخواستها معطل میمانند، استخر خیلی کوچک است. با کش کلید-مقدار FP8 یا وزنهای FP8 فضا باز کنید. کم کردن حداکثر طول مدل در اینجا کمکی نمیکند، چون اندازهی استخر ثابت میماند.
- اگر استخر جا دارد اما P99 ITL خیلی بالا است، GPU پر شده است. یک GPU یا یک رپلیکا اضافه کنید. سقف گذاشتن روی تعداد توالیها فقط معطلی را به زمان رسیدن اولین توکن منتقل میکند.
روی DGX Spark ما، vLLM و SGLang در 32 و 64 کاربر نرخ پردازش یکسانی داشتند. اما P99 ITL در vLLM حدود دو برابر بیشتر بود (478 در برابر 220 ms در 32 کاربر). پس زمان انتخاب موتور برای چت، حتماً P99 ITL را هم مقایسه کنید.
منابع: capture/gpu/summary/l4.json (شامل load.vllm-b، load.vllm-seqs-16، load.vllm-lock-b، load.vllm-lock-small-pool)، capture/gpu/summary/gb10.json (شامل load.vllm، load.sglang)، سورس vLLM در نسخهی v0.31.0 (فایلهای vllm/engine/arg_utils.py، vllm/v1/core/sched/scheduler.py، vllm/v1/metrics/loggers.py)، capture/gpu/out-l4/load-flushed-vs-unflushed.txt، capture/gpu/out-l4/admission-cap-64-users.txt.