وقتی کسی منتظر تولید اولین توکن نیست، همزمانی را تا جایی بالا ببرید که نرخ پردازش دیگر رشد نکند.
قرار است مجموعهی بزرگی از پرامپتها را شبانه پردازش کنید. با پایان این بخش، یاد میگیرید در شرایطی که تاخیر اهمیتی ندارد، بیشترین تعداد توکن بر ثانیه را از سیستم بگیرید.
نتیجهی آزمایش ما: روی پردازندهی گرافیکی L4 با مدل Qwen3-8B، رشد خروجی در 32 کاربر متوقف شد و به حدود 274 توکن بر ثانیه رسید.
انتخاب میان کلاس آفلاین یا سرور
برای فهرست ثابتی از پرامپتها، کلاس آفلاین LLM موتور پردازش را مستقیماً داخل فرایند Python شما اجرا میکند. در این حالت نه خبری از لایهی HTTP است و نه نیازی به تنظیم کلاینت دارید:
from vllm import LLM, SamplingParams
prompts = ["Summarize the history of Lisbon in three sentences.", "Write a haiku about the sea."]
llm = LLM(model="Qwen/Qwen3-8B")
params = SamplingParams(temperature=0.7, max_tokens=256)
outputs = llm.generate(prompts, params)
for out in outputs:
print(out.outputs[0].text)
کل فهرست را در یک فراخوانی ارسال کنید. خود موتور همهی پرامپتها را زمانبندی میکند و دسته را پر نگه میدارد.
اگر فایلی از درخواستهای OpenAI دارید، دستور batch را به کار بگیرید:
vllm run-batch -i requests.jsonl -o results.jsonl --model Qwen/Qwen3-8B
اما وقتی برنامههای دیگر باید کارها را بفرستند، یا پردازش قرار است GPU را با ترافیک زنده شریک شود، از سرور استفاده کنید.
یافتن نقطهی توقف رشد نرخ پردازش
وقتی کسی منتظر دریافت اولین توکن نیست، تنها خروجی کل اهمیت دارد. همزمانی را تا جایی بالا ببرید که رشد خروجی متوقف شود.
ما مدل Qwen/Qwen3-8B را با پرامپتهای 512 توکنی روی L4 خودمان، در نشست کلاک کامل در تاریخ 2026-10-17 اجرا کردیم. نرخ خروجی از 13.5 توکن بر ثانیه با 1 کاربر، به 273.9 توکن بر ثانیه با 32 کاربر رسید. در 64 کاربر، خروجی به 241.4 توکن بر ثانیه کاهش یافت؛ چون استخر حافظه پر شد و توان GPU افت کرد (throttled). در اجرای مجزای دیگری در تاریخ 2026-10-18، نرخ ثابت 4 درخواست در هر ثانیه، خروجی 286.6 توکن بر ثانیه را در فرکانس 1,245 مگاهرتز (در برابر 1,275 مگاهرتز) ثبت کرد. بنابراین روی این کارت، بیشترین خروجی در حدود 32 کاربر همزمان به دست آمد. کاربران بیشتر تنها انتظار هر درخواست را طولانیتر کردند.
سقف توان پردازشی سیستم شما به مدل، طول پرامپت و پاسخ، و استخر حافظه بستگی دارد. برای پیدا کردن این سقف، آزمون سوییپ را با طولهای مورد نظر خودتان اجرا کنید.
افزایش محدودیتها برای پردازش دستهای
دو محدودیت، سقف هر دسته را مشخص میکنند. مقادیر پیشفرض آنها به حافظهی GPU و شیوهی اجرای vLLM وابسته است:
- پارامتر
--max-num-seqsسقف تعداد درخواستهای همزمان را تعیین میکند. - پارامتر
--max-num-batched-tokensسقف توکنها را در هر گام مشخص میکند. مقدار پیشفرض کلاس آفلاینLLMاز سرور بیشتر است. مستندات vLLM برای نرخ پردازش، مقداری بالاتر از 8,192 را پیشنهاد میکند؛ بهویژه برای مدلهای کوچک روی پردازندههای گرافیکی بزرگ.
در صفحهی سهمیهی توکن، پیشفرض هر یک از این محدودیتها برای GPU شما آمده است.
سهمیهی توکن بزرگتر به پرامپتهای طولانی امکان میدهد مرحلهی پیشپرکنی (prefill) را در گامهای کمتری تمام کنند. در این حالت، سهم استریمهای در حال اجرا از هر گام کمتر میشود؛ موضوعی که در پردازش دستهای اهمیتی ندارد.
ما این سهمیه را روی DGX Spark خود اندازه گرفتیم؛ جایی که مقدار 16,384 در نرخ پایین، فاصلهی بین توکنها را طولانیتر کرد. اعداد و ارقام در صفحهی پرامپتهای طولانی آمده است. ما آن را برای پردازش دستهای اندازه نگرفتیم.
بررسی وضعیت اجرا
معیارهای vllm:num_requests_running و vllm:kv_cache_usage_perc را زیر نظر بگیرید. اگر مصرف کش نزدیک 1 بماند و درخواستها معطل شوند، استخر حافظه مانع گسترش دسته است. با کش کلید-مقدار (KV cache) از نوع FP8 یا کوتاهتر کردن حداکثر طول، حافظه آزاد کنید. اگر تعداد درخواستهای در حال اجرا به سقف --max-num-seqs رسیده است اما هنوز کش خالی دارید، این محدودیت را بالاتر ببرید.
منابع: capture/gpu/summary/l4.json (شامل load.vllm و rate.vllm)، مستندات vLLM در نگارش v0.31.0 (مسیر docs/configuration/optimization.md)، کد منبع vLLM در نگارش v0.31.0 (مسیرهای vllm/entrypoints/llm.py و vllm/entrypoints/cli/).