سهمیهی توکن هر دسته (batch token budget) بین زمان اولین توکن و فاصلهی بین توکنها موازنه برقرار میکند؛ پس آن را متناسب با تاخیرِ تعهدشدهی خود تنظیم کنید.
پرامپتهای طولانی از راه میرسند و درخواستهای کوتاه پشت سر آنها معطل میمانند. با خواندن این بخش، میتوانید سهمیهی توکن هر دسته را متناسب با هدف تاخیر خود انتخاب کنید.
نتیجهی ما: روی سرور DGX Spark ما زیر بار سبک، سهمیهی 16,384 توکن مقدار P99 ITL را از 574 به 798 میلیثانیه رساند.
سهمیه را بشناسید
ابزار vLLM همیشه پرامپتهای طولانی را به چند تکه (chunk) تقسیم میکند. در هر گام، استریمهای در حال اجرا ابتدا توکن بعدیشان را میگیرند و پرامپتِ منتظر، باقیماندهی سهمیه را پر میکند. فلگ --max-num-batched-tokens این سهمیه را مشخص میکند. صفحهی سهمیهی توکن این ترتیب اولویت را توضیح داده است.
سهمیهی بزرگتر به پرامپتهای طولانی اجازه میدهد مرحلهی پیشپرکنی (prefill) را در گامهای کمتری تمام کنند؛ در نتیجه اولین توکن آنها زودتر آماده میشود. اما هرکدام از این گامها زمان بیشتری میبرند و تمام استریمهای در حال اجرا باید منتظر آن بمانند. بنابراین زیر بار سبک، سهمیهی بزرگتر میتواند اولین توکن را سریعتر تحویل دهد، اما فاصلهی بین توکنها را طولانیتر میکند.
پیشفرضهای سیستم خود را بدانید
vLLM سهمیه و سقف درخواستهای همزمان را بر اساس حافظهی GPU که شناسایی میکند، میچیند. این مقادیر پیشفرض بین دستور vllm serve و کلاس آفلاین LLM هم فرق دارند. بقیهی بخشهای راهنما به همین جدول ارجاع دادهاند.
| حافظهی GPU که vLLM میخواند | سهمیه در vllm serve |
سهمیه در کلاس LLM |
--max-num-seqs در هر دو |
|---|---|---|---|
| 160 GiB یا بیشتر | 16,384 | 16,384 | 1,024 |
| 70 GiB یا بیشتر، ولی نه A100 | 8,192 | 16,384 | 1,024 |
| کمتر از این، یا نامشخص | 2,048 | 8,192 | 256 |
دستگاه DGX Spark ما 121.69 GiB حافظهی اشتراکی بین CPU و GPU دارد. لاگ راهاندازی آن با این حال سهمیهی 2,048 را نشان میدهد؛ یعنی مقداری که برای پردازندههای گرافیکی کوچک یا ناشناخته در نظر گرفته میشود. قبل از اینکه مقداری را دستکاری کنید، ببینید سرورتان دقیقاً از چه عددی استفاده میکند. لاگ نسخهی 0.31.0 سهمیه را با نام مستقیم آن چاپ نمیکند. در خط پیکربندی موتور (engine config) دنبال compile_ranges_endpoints بگردید؛ بزرگترین عدد آن فهرست، همان سهمیه است.
نتایج آزمایشهای ما
ما عملکرد مدل Qwen3-30B-A3B را با سهمیههای 2,048 و 16,384 توکن روی DGX Spark در تاریخ 2026-10-21 اندازه گرفتیم. طول پرامپتها بین 1,024 تا 4,096 توکن بود و هر درخواست بین 64 تا 256 توکن خروجی میخواست. درخواستها را با نرخ ثابتی فرستادیم و برای هر نقطه، سه سید (seed) مختلف را اجرا کردیم.
| تعداد درخواست در ثانیه | سهمیه | میانهی TTFT | میانهی TPOT | صدک 99 تاخیر بین توکنها (P99 ITL) |
|---|---|---|---|---|
| 0.5 | 2,048 | 1,145 میلیثانیه | 149.3 میلیثانیه | 574 میلیثانیه |
| 0.5 | 16,384 | 906 میلیثانیه | 139.4 میلیثانیه | 798 میلیثانیه |
| 1 | 2,048 | 454 میلیثانیه | 156.5 میلیثانیه | 405 میلیثانیه |
| 1 | 16,384 | 477 میلیثانیه | 156.9 میلیثانیه | 395 میلیثانیه |
| 2 | 2,048 | 560 میلیثانیه | 205.5 میلیثانیه | 587 میلیثانیه |
| 2 | 16,384 | 595 میلیثانیه | 205.1 میلیثانیه | 586 میلیثانیه |
در نرخ 0.5 درخواست در ثانیه، سهمیهی بزرگتر P99 ITL را 39 درصد بالا برد و بازهی نتایج سیدها با هم هیچ همپوشانی نداشتند. اولین توکن زودتر آمد، اما دامنهی تغییرات سیدها برای زمان اولین توکن همپوشانی داشت؛ بنابراین هزینهی این تغییر قطعی است، ولی دستاورد آن هنوز اثبات نشده است.
میانهی زمان اولین توکن در نرخ 0.5 درخواست در ثانیه، برای هر دو سهمیه کُندتر از نرخ 1 درخواست در ثانیه بود. با سهمیهی 2,048، هر سه سید در نرخ 0.5 بالای 900 میلیثانیه ثبت شدند، در حالی که هر سه در نرخ 1 زیر 600 میلیثانیه بودند. پس این اختلاف بهخاطر یک سیدِ کندِ اتفاقی نبوده است؛ علت دقیق آن را هم پیدا نکردیم.
در نرخهای 1 و 2 درخواست در ثانیه، هر دو سهمیه اعدادی یکسان در دامنهی خطای سیدها به دست دادند. در این نرخها، درخواستهای بیشتری در هر گام شریک میشوند؛ در نتیجه یک پرامپت طولانی بهتنهایی بخش کمتری از سهمیه را پر میکند.
این نتیجه را نباید تعمیم داد: فقط دو سهمیه، سه نرخ ترافیک پایین، یک مدل و یک سرور تست شده است. مقالهی سال 2026 با عنوان «P-PAS: Prefill-Pressure Adaptive Scheduling for Long-Context LLM Serving» نشان داد هیچ سهمیهی ثابتی در vLLM زیر تمام بارهای کاری بهترین نیست. سهمیهی بزرگ در فشار کاری کم تاخیر کمتری داد؛ اما وقتی چند پیشپرکنی همزمان با استریمهای فعال رقابت میکردند، سهمیهی کوچک برنده شد. ما این نقطهی عطف را خودمان اندازه نگرفتیم.
اجرای آزمایشی که در آن فلگ سهمیه مشخص نشده بود، در تمام نرخها نتیجهای دقیقاً برابر با سهمیهی 2,048 داشت که با همان عدد 2,048 در لاگ راهاندازی همخوانی دارد. در تمام اجراها، کلاک میانهی پردازنده روی 2,398 تا 2,411 مگاهرتز ثابت ماند.
تنظیم سهمیه
- سهمیهای را که سرور شما در حال حاضر استفاده میکند بخوانید.
- اگر P99 ITL بیش از حد بالاست و پرامپتهای طولانی زیادی میرسند، سهمیه را کم کنید. اگر پیشفرض شما بیشتر است، مقدار 2,048 را امتحان کنید.
- اگر اولین توکن پرامپتهای طولانی خیلی کُند تحویل داده میشود و P99 ITL هنوز جا دارد، سهمیه را بالا ببرید.
- تستها را با نرخ ترافیک واقعی خود انجام دهید؛ چون در آزمایشهای ما اثر تغییرات بسته به نرخ درخواستها عوض شد.
- وقتی الگوی بار کاری سرورتان تغییر کرد دوباره اندازهگیری کنید؛ زیرا بهترین سهمیه با بار سیستم تغییر میکند.
همچنین vLLM پارامتری به نام --long-prefill-token-threshold دارد. این پارامتر تعداد توکنهایی را که یک پرامپت طولانی در یک گام (وقتی درخواستهای دیگری معطل ماندهاند) میگیرد محدود میکند. این گزینه بهطور پیشفرض غیرفعال است و ما آن را تست نکردیم.
منابع: capture/gpu/summary/gb10.json (mixed.vllm، mixed.vllm-mnbt-2048، mixed.vllm-mnbt-16384)، capture/gpu/out-gb10/server-load-vllm.log، سورسکد vLLM در نسخهی v0.31.0 (vllm/engine/arg_utils.py، vllm/config/vllm.py، vllm/config/scheduler.py، vllm/platforms/cuda.py)، مقالهی P-PAS: Prefill-Pressure Adaptive Scheduling for Long-Context LLM Serving (arXiv 2608.15171، 2026).