بخش 3.1 · تنظیم متناسب با ترافیک شما

تنظیم چت برای تعداد کاربران بالا

Tune chat for many users

فهرست مطالب
  1. شناخت حس کاربر چت
  2. شناسایی محل شکست استریم
  3. اثر بازاستفاده از کش پیشوند روی نتایج زیر 32 کاربر
  4. اثر تعیین سقف برای توالی‌ها
  5. آزمون تعیین سقف در 64 کاربر
  6. پیامد کوچک بودن استخر حافظه
  7. تنظیم سیستم

در چت، بدترین فاصله بین توکن‌ها از نرخ پردازش مهم‌تر است؛ پس هم‌گام با افزایش کاربران، حواستان به P99 ITL باشد.

سرویس چت شما برای چند کاربر خروجی را روان استریم می‌کند، اما برای کاربران زیاد فاصله‌های طولانی بین توکن‌ها می‌اندازد. بعد از خواندن این بخش، می‌توانید با رشد تعداد کاربران هم استریم را پایدار نگه دارید.

نتیجه‌ی ما: روی L4 ما، در 16 کاربر حدود دو سوم درخواست‌ها به هدف تاخیر رسیدند و در 32 کاربر، هیچ‌کدام نرسیدند. محدود کردن دسته (batch) هم مشکل را حل نکرد.

شناخت حس کاربر چت

یک کاربر چت دو عدد را حس می‌کند: اولی زمان تا رسیدن اولین توکن (TTFT) است و دومی فاصله‌ی بین توکن‌ها حین استریم پاسخ (ITL). شما بابت نرخ پردازش پول می‌دهید، ولی کاربر آن را نمی‌بیند.

حواستان به P99 ITL باشد، یعنی بدترین فاصله میان 100 توکن. یک مکث طولانی وسط استریم، حس خیلی بدتری از یک استریم کمی کندتر به کاربر می‌دهد. برای هر دو عدد هدف تعیین کنید. هدف ما رسیدن اولین توکن ظرف 1 ثانیه و تاخیر 100 میلی‌ثانیه یا کمتر برای هر توکن بود.

شناسایی محل شکست استریم

ما تعداد کاربران هم‌زمان را سنجیدیم: از 1 تا 64 کاربر روی L4 با مدل Qwen/Qwen3-8B در تاریخ 2026-10-21، در نشست با کلاک کامل. هر درخواست 512 توکن پرامپت می‌فرستاد و 128 توکن می‌خواست، با سه سید (seed) به ازای هر نقطه.

کاربران، نشست L4 با کلاک کامل توکن خروجی بر ثانیه میانه‌ی TTFT صدک 99 ITL سهم درخواست‌های منطبق بر هدف میانه‌ی کلاک SM
8 112.8 0.25 s 67 ms 75% 1,485 MHz
16 201.3 0.29 s 85 ms 64% 1,455 MHz
32 275.1 1.80 s 613 ms 0% 1,275 MHz
64 242.3 11.18 s 1,233 ms 0% 1,005 MHz

تا 16 کاربر، با هر کاربر جدید خروجی بیشتر می‌شد و استریم پایدار می‌ماند. اما در 16 کاربر، از هر سه درخواست یکی اولین توکنش را خیلی دیر گرفت. در 32 کاربر خروجی هنوز بالا می‌رفت، ولی P99 ITL هفت برابر شد و هیچ درخواستی به هدف نرسید. سرور شلوغ بود و کاربران معطل ماندند.

اثر بازاستفاده از کش پیشوند روی نتایج زیر 32 کاربر

در این ارزیابی، برای تمام تعداد کاربران از یک سرور استفاده شد و بین آن‌ها کش پیشوند (prefix cache) ریست نشد. هر سید در تمام مراحل همان پرامپت‌های اولیه را می‌فرستاد؛ به همین دلیل، خیلی از درخواست‌ها پرامپت خود را در کش پیدا کردند و نیازی به پیش‌پرکنی (prefill) نداشتند. در تاریخ 2026-10-23 این آزمایش را دوباره روی همان L4 اجرا کردیم؛ این بار قبل از هر بار اجرا کش را ریست کردیم و کلاک را روی 900 MHz قفل نگه داشتیم. سپس آن را با اجرای بدون پاک‌سازی در همان نشست مقایسه کردیم:

میانه TTFT با و بدون پاکسازی کَش، مدل Qwen3-8B روی کارت L4 ما در 900 مگاهرتز capture/gpu/out-l4/load-flushed-vs-unflushed.txt
median TTFT, flushed against unflushed
users   vLLM                                   SGLang
4       650 / 145 ms (4.5x)                    532 to 645 / 141 ms (3.8 to 4.6x)
8       951 to 978 / 264 to 274 ms (3.6x)      1,174 to 1,273 / 173 to 178 ms (6.6 to 7.3x)
16      1,550 to 1,587 / 294 to 295 ms (5.3x)  1,804 to 1,944 / 218 ms (8.3 to 8.9x)
32      1,982 to 2,084 / 2,012 to 3,091 ms     3,216 to 3,228 / 2,710 to 2,917 ms
…

سطرهای میانه TTFT. سهمی که به هدف رسیده و خطوط صدک 99 ITL حذف شده‌اند.

با ریست کردن، 50 درصد از درخواست‌ها در 8 کاربر به هدف ما رسیدند، در حالی که بدون ریست این رقم بین 75 تا 81 درصد بود. در 16 کاربر این سهم از حدود 65 درصد به 25 درصد سقوط کرد. مقدار P99 ITL در 16 کاربر با ریست 522 ms شد، در برابر 82 تا 84 ms در اجرای بدون پاک‌سازی در همان نشست. از 32 کاربر به بعد صف غالب شد و ریست کردن تفاوت چندانی ایجاد نکرد. بنابراین شکست استریم روی این کارت بین 8 تا 16 کاربر رخ می‌دهد، نه بین 16 تا 32. جدول بالا به‌عنوان سندی از نشست با کلاک کامل باقی می‌ماند.

روی این کارت گرافیک، هر گام سهمیه‌ی 2,048 توکن دارد. با رسیدن پرامپت‌های جدید، تکه‌های آن‌ها این گام را با استریم‌های جاری شریک می‌شوند؛ در نتیجه استریم‌های جاری مکث می‌کنند. ترتیب این کار در صفحه‌ی سهمیه‌ی توکن توضیح داده شده است.

اثر تعیین سقف برای توالی‌ها

گزینه‌ی --max-num-seqs تعیین می‌کند چند درخواست هم‌زمان اجرا شوند. روی L4 مقدار پیش‌فرض 256 است و قاعده‌ی مربوط به سایر GPUها در صفحه‌ی سهمیه‌ی توکن آمده است. ما آن را روی 16 گذاشتیم و همان آزمون را تکرار کردیم:

محدودیت 16 دنباله همزمان با افزایش کاربرانمحدودیت 16 دنباله تا 16 کاربر با حالت پیش‌فرض برابری کرد، و در 32 کاربر خروجی را از 275 به 172 توکن بر ثانیه کاهش داد.
محدودیت 16 دنباله در مقایسه با پیش‌فرض همگام با افزایش کاربران توکن‌های خروجی بر ثانیه و میانه زمان تا توکن اول در مقایسه با کاربران همزمان، روی NVIDIA L4 با مدل Qwen3-8B، سه seed برای هر نقطه، 2026-10-21. هر دو پیکربندی تا 16 کاربر همسان هستند. در 32 کاربر، حالت پیش‌فرض 275.1 توکن بر ثانیه با توکن اول در 1.8 ثانیه ارائه داد، و محدودیت 16 دنباله 171.8 توکن بر ثانیه با توکن اول در 12.3 ثانیه داد. پیش‌فرض --max-num-seqs 16 0 100 200 300 1 4 16 64 کاربران خروجی tok/s 0.1 1 10 100 1 4 16 64 کاربران میانه توکن اول، s
هر نقطه میانه سه seed است و نوارها اسپن آن‌ها را پوشش می‌دهند. زمان تا اولین توکن از مقیاس لگاریتمی استفاده می‌کند. برگرفته از capture/gpu/summary/l4.json.
کاربران، نشست L4 با کلاک کامل پیکربندی توکن خروجی بر ثانیه میانه‌ی TTFT میانه‌ی ITL صدک 99 ITL میانه‌ی کلاک SM
32 پیش‌فرض 275.1 1.8 s 80.5 ms 613 ms 1,275 MHz
32 --max-num-seqs 16 171.8 12.3 s 69.8 ms 595 ms 1,365 MHz

تعیین این سقف، هر استریم را کمی روان‌تر کرد. اما نیمی از کاربران برای اولین توکن در صف منتظر ماندند و خروجی 38 درصد افت کرد. در اجرای با سقف محدود، کلاک بالاتر بود؛ پس این افت ناشی از کلاک نیست. در 64 کاربر، کلاک در اجرای با سقف تا 630 MHz افت کرد، بنابراین آن ردیف را مقایسه نمی‌کنیم.

سقف گذاشتن جایی برای کاربران بیشتر باز نمی‌کند؛ فقط تعیین می‌کند چه کسی معطل شود.

آزمون تعیین سقف در 64 کاربر

در 64 کاربر، مقدار P99 ITL در vLLM روی L4 ما بیش از یک ثانیه بود، در حالی که برای SGLang حدود 150 ms ثبت شد. در تاریخ 2026-10-23 سعی کردیم با اعمال یک سقف این فاصله را جبران کنیم. کلاک روی 900 MHz قفل شد و هر اجرا دو سید و یک بار ریست کش داشت. گزینه‌ی --max-num-active-seqs یک سقف دوم در نسخه‌ی 0.31.0 است که درخواست‌های در حال اجرا در یک گام را محدود می‌کند.

محدودیت‌ها در 64 کاربر روی L4 ما، vLLM 0.31.0 در برابر SGLang 0.5.22 capture/gpu/out-l4/admission-cap-64-users.txt
config                        median SM clock (s1/s2)   median TTFT       P99 ITL               output tok/s
SGLang default                900 / 900                 19.4 s            143 to 153 ms         225 to 231
…
vLLM default, earlier run     900                       11.8 s            1,359 ms              220
…
--max-num-seqs 32             900 / 795                 17.2 to 20.6 s    1,163 to 1,399 ms     196 to 230
…
--max-num-active-seqs 48      900 / 900                 11.8 s            1,329 to 1,373 ms     215 to 218
…
--max-num-active-seqs 16      795 / 683                 44.8 to 48.8 s    1,133 to 1,139 ms     129 to 136

سطرهایی از فایل شواهد. سطرهایی که بسیار پایین‌تر از قفل اجرا شدند حذف شده‌اند.

هیچ سقفی که امتحان کردیم نتوانست P99 ITL را در vLLM به عدد SGLang نزدیک کند. در 16 یا 32 درخواست در حال اجرا، مقدار P99 ITL بالای 1.1 s ماند و رسیدن اولین توکن بین 17 تا 65 s معطلی داشت. خیلی از اجراها در این بخش زیر کلاک قفل‌شده کار کردند و فایل مربوطه همه‌ی آن‌ها را آورده است. بنابراین روی این کارت، گذاشتن سقف، وقفه‌های طولانی در 64 کاربر را حل نمی‌کند. کاهش کاربران به ازای هر رپلیکا (replica) مشکل را حل می‌کند.

پیامد کوچک بودن استخر حافظه

استخر کش کلید-مقدار (KV cache) هم تعداد کاربران را محدود می‌کند. ما عملکرد یک استخر با ظرفیت 6,560 توکن (با --num-gpu-blocks-override 410 و --max-model-len 4096) را در برابر استخر 24,096 توکنی خودمان سنجیدیم. هر دو در تاریخ 2026-10-22 روی L4 ما در نشست قفل‌شده روی 900 MHz، با 32 کاربر و دو سید به ازای هر کدام اجرا شدند.

استخر حافظه، نشست L4 در حالت قفل‌شده میانه‌ی TTFT صدک 99 TTFT میانه‌ی کلاک SM
24,096 توکن 3.1 s 7.1 s 881 MHz
6,560 توکن 31.6 s 48.0 s 248 MHz

یک درخواست 640 توکنی تا پایان پردازشش به 640 توکن از استخر نیاز دارد. بنابراین در یک استخر 6,560 توکنی هم‌زمان فقط حدود 10 درخواست جا می‌شوند. 22 کاربر دیگر معطل ماندند تا یکی از درخواست‌های در حال اجرا تمام شود.

موتور vLLM فقط وقتی درخواست جدیدی را شروع می‌کند که بلوک‌هایش در استخر جا شوند. اگر درخواست در حال اجرایی به بلوک جدید نیاز داشته باشد، می‌تواند درخواست دیگری را بیرون بیندازد (push out) که vLLM آن را پیش‌دستی (Preemption) به‌حساب می‌آورد. به همین دلیل بیشتر این 32 درخواست قبل از شروع در صف معطل ماندند.

در اجرای با استخر کوچک، کلاک به حدود 250 MHz افت کرد که پایین‌تر از کلاک قفل‌شده است. کلاکی که 3.6 برابر پایین‌تر باشد می‌تواند هر گام را تا 3.6 برابر کندتر کند. اولین توکن 10 برابر دیرتر رسید، بنابراین عامل اصلی معطلی همان صف بود. نرخ پردازش یا زمان به ازای هر توکنِ این دو اجرا را با هم مقایسه نکنید.

تنظیم سیستم

  1. اهداف خود را برای زمان رسیدن اولین توکن و زمان پردازش هر توکن مشخص کنید.
  2. بار کاری مدنظرتان را با کاربران بیشتر و بیشتر اجرا کنید و بالاترین تعدادی را که به هر دو هدف می‌رسد پیدا کنید.
  3. اگر مصرف کش کلید-مقدار نزدیک 100 درصد است و درخواست‌ها معطل می‌مانند، استخر خیلی کوچک است. با کش کلید-مقدار FP8 یا وزن‌های FP8 فضا باز کنید. کم کردن حداکثر طول مدل در اینجا کمکی نمی‌کند، چون اندازه‌ی استخر ثابت می‌ماند.
  4. اگر استخر جا دارد اما P99 ITL خیلی بالا است، GPU پر شده است. یک GPU یا یک رپلیکا اضافه کنید. سقف گذاشتن روی تعداد توالی‌ها فقط معطلی را به زمان رسیدن اولین توکن منتقل می‌کند.

روی DGX Spark ما، vLLM و SGLang در 32 و 64 کاربر نرخ پردازش یکسانی داشتند. اما P99 ITL در vLLM حدود دو برابر بیشتر بود (478 در برابر 220 ms در 32 کاربر). پس زمان انتخاب موتور برای چت، حتماً P99 ITL را هم مقایسه کنید.

منابع: capture/gpu/summary/l4.json (شامل load.vllm-b، load.vllm-seqs-16، load.vllm-lock-b، load.vllm-lock-small-pool)، capture/gpu/summary/gb10.json (شامل load.vllm، load.sglang)، سورس vLLM در نسخه‌ی v0.31.0 (فایل‌های vllm/engine/arg_utils.py، vllm/v1/core/sched/scheduler.py، vllm/v1/metrics/loggers.py)، capture/gpu/out-l4/load-flushed-vs-unflushed.txt، capture/gpu/out-l4/admission-cap-64-users.txt.

ترجمه‌ی فارسی Tune chat for many users از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما