بخش 3.3 · تنظیم متناسب با ترافیک شما

جلوگیری از معطل شدن پرامپت‌های کوتاه پشت پرامپت‌های طولانی

Keep long prompts from stalling short ones

فهرست مطالب
  1. سهمیه را بشناسید
  2. پیش‌فرض‌های سیستم خود را بدانید
  3. نتایج آزمایش‌های ما
  4. تنظیم سهمیه

سهمیه‌ی توکن هر دسته (batch token budget) بین زمان اولین توکن و فاصله‌ی بین توکن‌ها موازنه برقرار می‌کند؛ پس آن را متناسب با تاخیرِ تعهدشده‌ی خود تنظیم کنید.

پرامپت‌های طولانی از راه می‌رسند و درخواست‌های کوتاه پشت سر آن‌ها معطل می‌مانند. با خواندن این بخش، می‌توانید سهمیه‌ی توکن هر دسته را متناسب با هدف تاخیر خود انتخاب کنید.

نتیجه‌ی ما: روی سرور DGX Spark ما زیر بار سبک، سهمیه‌ی 16,384 توکن مقدار P99 ITL را از 574 به 798 میلی‌ثانیه رساند.

سهمیه را بشناسید

ابزار vLLM همیشه پرامپت‌های طولانی را به چند تکه (chunk) تقسیم می‌کند. در هر گام، استریم‌های در حال اجرا ابتدا توکن بعدی‌شان را می‌گیرند و پرامپتِ منتظر، باقی‌مانده‌ی سهمیه را پر می‌کند. فلگ --max-num-batched-tokens این سهمیه را مشخص می‌کند. صفحه‌ی سهمیه‌ی توکن این ترتیب اولویت را توضیح داده است.

سهمیه‌ی بزرگ‌تر به پرامپت‌های طولانی اجازه می‌دهد مرحله‌ی پیش‌پرکنی (prefill) را در گام‌های کمتری تمام کنند؛ در نتیجه اولین توکن آن‌ها زودتر آماده می‌شود. اما هرکدام از این گام‌ها زمان بیشتری می‌برند و تمام استریم‌های در حال اجرا باید منتظر آن بمانند. بنابراین زیر بار سبک، سهمیه‌ی بزرگ‌تر می‌تواند اولین توکن را سریع‌تر تحویل دهد، اما فاصله‌ی بین توکن‌ها را طولانی‌تر می‌کند.

پیش‌فرض‌های سیستم خود را بدانید

vLLM سهمیه و سقف درخواست‌های هم‌زمان را بر اساس حافظه‌ی GPU که شناسایی می‌کند، می‌چیند. این مقادیر پیش‌فرض بین دستور vllm serve و کلاس آفلاین LLM هم فرق دارند. بقیه‌ی بخش‌های راهنما به همین جدول ارجاع داده‌اند.

حافظه‌ی GPU که vLLM می‌خواند سهمیه در vllm serve سهمیه در کلاس LLM --max-num-seqs در هر دو
160 GiB یا بیشتر 16,384 16,384 1,024
70 GiB یا بیشتر، ولی نه A100 8,192 16,384 1,024
کمتر از این، یا نامشخص 2,048 8,192 256

دستگاه DGX Spark ما 121.69 GiB حافظه‌ی اشتراکی بین CPU و GPU دارد. لاگ راه‌اندازی آن با این حال سهمیه‌ی 2,048 را نشان می‌دهد؛ یعنی مقداری که برای پردازنده‌های گرافیکی کوچک یا ناشناخته در نظر گرفته می‌شود. قبل از اینکه مقداری را دستکاری کنید، ببینید سرورتان دقیقاً از چه عددی استفاده می‌کند. لاگ نسخه‌ی 0.31.0 سهمیه را با نام مستقیم آن چاپ نمی‌کند. در خط پیکربندی موتور (engine config) دنبال compile_ranges_endpoints بگردید؛ بزرگ‌ترین عدد آن فهرست، همان سهمیه است.

نتایج آزمایش‌های ما

ما عملکرد مدل Qwen3-30B-A3B را با سهمیه‌های 2,048 و 16,384 توکن روی DGX Spark در تاریخ 2026-10-21 اندازه گرفتیم. طول پرامپت‌ها بین 1,024 تا 4,096 توکن بود و هر درخواست بین 64 تا 256 توکن خروجی می‌خواست. درخواست‌ها را با نرخ ثابتی فرستادیم و برای هر نقطه، سه سید (seed) مختلف را اجرا کردیم.

سهمیه‌ی توکن بزرگ‌تر در بار کاری کمدر نرخ 0.5 درخواست بر ثانیه، سهمیه‌ی 16,384 توکن، صدک P99 فاصله بین توکن‌ها (ITL) را از 574 به 798 میلی‌ثانیه افزایش داد.
سهمیه‌ی توکن بزرگ‌تر در 0.5 درخواست بر ثانیه روی DGX Spark اجرای vLLM با مدل Qwen3-30B-A3B روی NVIDIA GB10، با پرامپت‌های 1,024 تا 4,096 توکنی، خروجی 64 تا 256 توکن، 0.5 درخواست بر ثانیه و سه Seed مختلف. با سهمیه‌ی 2,048 توکن، میانه‌ی توکن اول 1,145 میلی‌ثانیه و P99 ITL برابر با 574 میلی‌ثانیه بود. با 16,384 توکن، توکن اول 906 میلی‌ثانیه و P99 ITL برابر با 798 میلی‌ثانیه ثبت شد. میانه توکن اول، ms 0 750 1,500 1,145 2,048 906 16,384 P99 ITL، ms 0 500 1,000 574 2,048 798 16,384 مقدار کمتر برای هر دو بهتر است. برچسب ستون‌ها با max-num-batched-tokens-- مشخص شده.
هر ستون نشان‌دهنده‌ی میانه در میان سه Seed است. زمان توکن اول برای هر دو سهمیه، در دانه‌های مختلف همپوشانی داشت. برگرفته از capture/gpu/summary/gb10.json.
تعداد درخواست در ثانیه سهمیه میانه‌ی TTFT میانه‌ی TPOT صدک 99 تاخیر بین توکن‌ها (P99 ITL)
0.5 2,048 1,145 میلی‌ثانیه 149.3 میلی‌ثانیه 574 میلی‌ثانیه
0.5 16,384 906 میلی‌ثانیه 139.4 میلی‌ثانیه 798 میلی‌ثانیه
1 2,048 454 میلی‌ثانیه 156.5 میلی‌ثانیه 405 میلی‌ثانیه
1 16,384 477 میلی‌ثانیه 156.9 میلی‌ثانیه 395 میلی‌ثانیه
2 2,048 560 میلی‌ثانیه 205.5 میلی‌ثانیه 587 میلی‌ثانیه
2 16,384 595 میلی‌ثانیه 205.1 میلی‌ثانیه 586 میلی‌ثانیه

در نرخ 0.5 درخواست در ثانیه، سهمیه‌ی بزرگ‌تر P99 ITL را 39 درصد بالا برد و بازه‌ی نتایج سیدها با هم هیچ همپوشانی نداشتند. اولین توکن زودتر آمد، اما دامنه‌ی تغییرات سیدها برای زمان اولین توکن همپوشانی داشت؛ بنابراین هزینه‌ی این تغییر قطعی است، ولی دستاورد آن هنوز اثبات نشده است.

میانه‌ی زمان اولین توکن در نرخ 0.5 درخواست در ثانیه، برای هر دو سهمیه کُندتر از نرخ 1 درخواست در ثانیه بود. با سهمیه‌ی 2,048، هر سه سید در نرخ 0.5 بالای 900 میلی‌ثانیه ثبت شدند، در حالی که هر سه در نرخ 1 زیر 600 میلی‌ثانیه بودند. پس این اختلاف به‌خاطر یک سیدِ کندِ اتفاقی نبوده است؛ علت دقیق آن را هم پیدا نکردیم.

در نرخ‌های 1 و 2 درخواست در ثانیه، هر دو سهمیه اعدادی یکسان در دامنه‌ی خطای سیدها به دست دادند. در این نرخ‌ها، درخواست‌های بیشتری در هر گام شریک می‌شوند؛ در نتیجه یک پرامپت طولانی به‌تنهایی بخش کمتری از سهمیه را پر می‌کند.

این نتیجه را نباید تعمیم داد: فقط دو سهمیه، سه نرخ ترافیک پایین، یک مدل و یک سرور تست شده است. مقاله‌ی سال 2026 با عنوان «P-PAS: Prefill-Pressure Adaptive Scheduling for Long-Context LLM Serving» نشان داد هیچ سهمیه‌ی ثابتی در vLLM زیر تمام بارهای کاری بهترین نیست. سهمیه‌ی بزرگ در فشار کاری کم تاخیر کمتری داد؛ اما وقتی چند پیش‌پرکنی هم‌زمان با استریم‌های فعال رقابت می‌کردند، سهمیه‌ی کوچک برنده شد. ما این نقطه‌ی عطف را خودمان اندازه نگرفتیم.

اجرای آزمایشی که در آن فلگ سهمیه مشخص نشده بود، در تمام نرخ‌ها نتیجه‌ای دقیقاً برابر با سهمیه‌ی 2,048 داشت که با همان عدد 2,048 در لاگ راه‌اندازی همخوانی دارد. در تمام اجراها، کلاک میانه‌ی پردازنده روی 2,398 تا 2,411 مگاهرتز ثابت ماند.

تنظیم سهمیه

  1. سهمیه‌ای را که سرور شما در حال حاضر استفاده می‌کند بخوانید.
  2. اگر P99 ITL بیش از حد بالاست و پرامپت‌های طولانی زیادی می‌رسند، سهمیه را کم کنید. اگر پیش‌فرض شما بیشتر است، مقدار 2,048 را امتحان کنید.
  3. اگر اولین توکن پرامپت‌های طولانی خیلی کُند تحویل داده می‌شود و P99 ITL هنوز جا دارد، سهمیه را بالا ببرید.
  4. تست‌ها را با نرخ ترافیک واقعی خود انجام دهید؛ چون در آزمایش‌های ما اثر تغییرات بسته به نرخ درخواست‌ها عوض شد.
  5. وقتی الگوی بار کاری سرورتان تغییر کرد دوباره اندازه‌گیری کنید؛ زیرا بهترین سهمیه با بار سیستم تغییر می‌کند.

همچنین vLLM پارامتری به نام --long-prefill-token-threshold دارد. این پارامتر تعداد توکن‌هایی را که یک پرامپت طولانی در یک گام (وقتی درخواست‌های دیگری معطل مانده‌اند) می‌گیرد محدود می‌کند. این گزینه به‌طور پیش‌فرض غیرفعال است و ما آن را تست نکردیم.

منابع: capture/gpu/summary/gb10.json (mixed.vllm، mixed.vllm-mnbt-2048، mixed.vllm-mnbt-16384)، capture/gpu/out-gb10/server-load-vllm.log، سورس‌کد vLLM در نسخه‌ی v0.31.0 (vllm/engine/arg_utils.py، vllm/config/vllm.py، vllm/config/scheduler.py، vllm/platforms/cuda.py)، مقاله‌ی P-PAS: Prefill-Pressure Adaptive Scheduling for Long-Context LLM Serving (arXiv 2608.15171، 2026).

ترجمه‌ی فارسی Keep long prompts from stalling short ones از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما