ظرفیت پذیرش کاربر را کش کلید-مقدار (KV cache) تعیین میکند، نه وزنهای مدل؛ و با چهار عدد از تنظیمات مدل میتوانید آن را حساب کنید.
کارت گرافیک (GPU) را انتخاب کردهاید، اما سرور کمتر از برنامهریزیتان کاربر قبول میکند. با پایان این بخش، میتوانید ظرفیت مخزن KV و تعداد کاربران را برای یک مدل و یک طول زمینه (context length) مشخص تخمین بزنید.
نتیجهی آزمایش ما: روی L4 ما با مدل Qwen3-8B، مخزن 24,096 توکنی 37 کاربر با 640 توکن را در خود جای داد؛ هرچند خط راهاندازی سرور عدد 2.94 را نشان میداد.
محاسبهی بایتها بهازای هر توکن
هر توکن در درخواستی در حال اجرا، کلیدها و مقادیرش را تا پایان درخواست در حافظهی کارت گرافیک نگه میدارد. چهار عدد از تنظیمات مدل این اندازه را مشخص میکنند:
KV bytes per token = layers x KV heads x head size x 2 x bytes per value
ضریب 2 کلید و مقدار را با هم حساب میکند. سه متغیر اول را از فایل config.json بخوانید: num_hidden_layers، num_key_value_heads و head_dim. در فرمت BF16، هر مقدار 2 بایت فضا میگیرد. با کش کلید-مقدار FP8، این فضا به 1 بایت کاهش مییابد.
| مدل | تعداد لایهها | هدهای KV | اندازهی هد | حجم KV بهازای هر توکن در BF16 |
|---|---|---|---|---|
Qwen/Qwen3-8B |
36 | 8 | 128 | 144 KiB |
Qwen/Qwen3-30B-A3B-Instruct-2507 |
48 | 4 | 128 | 96 KiB |
مدل مخلوط متخصصان (Mixture of Experts یا MoE) تقریباً چهار برابر مدل متراکم (dense) وزن دارد، اما برای هر توکن بایت کمتری ذخیره میکند. تعداد هدهای KV این عدد را مشخص میکند، نه تعداد پارامترها.
تبدیل بایتها به کاربران
vLLM هر حافظهای را که پس از لود وزنها و پروفایلینگ راهاندازی باقی بماند، به کش کلید-مقدار اختصاص میدهد. آن حافظه را بر بایتهای مصرفی هر توکن تقسیم کنید تا ظرفیت مخزن به توکن به دست آید. سپس مخزن را بر طول زمینهای که یک کاربر اشغال میکند تقسیم کنید:
users that fit = KV pool in tokens / (prompt tokens + output tokens per user)
درخواستی که به بلاکهایی بیشتر از ظرفیت آزاد نیاز داشته باشد، در صف میماند. اگر یک درخواست در حال اجرا به بلاک جدیدی نیاز داشته باشد و هیچ بلاکی آزاد نباشد، vLLM اجرای آن را متوقف میکند و بعداً آن را دوباره از اول محاسبه میکند.
تطبیق محاسبات با لاگ راهاندازی
بعد از هر بار راهاندازی، دو خط از لاگ را بخوانید. در سرور DGX Spark ما، با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 و پارامتر --gpu-memory-utilization 0.75، لاگ چنین پیامی داد:
(EngineCore pid=143) INFO 10-21 10:58:45 [model_runner.py:407] Model loading took 56.93 GiB memory and 330.542793 seconds
(EngineCore pid=143) INFO 10-21 10:59:46 [gpu_worker.py:692] Available KV cache memory: 31.32 GiBوزنها 56.93 GiB اشغال کردند و 31.32 GiB برای کش کلید-مقدار باقی ماند.
با مصرف 96 KiB بهازای هر توکن، فضای 31.32 GiB حدود 342,000 توکن را در خود جای میدهد.
مخزن ثابت: در ارزیابیهای فراگیر خود (sweeps)، ما اندازهی مخزن را بهصورت دستی با --num-gpu-blocks-override تنظیم کردیم که تعداد بلاکهای 16 توکنی را تعیین میکند. به vLLM همان مخزنی را دادیم که به سرور SGLang روی همان دستگاه داده بودیم تا هر دو موتور فضای یکسانی داشته باشند. روی DGX Spark این مخزن 234,960 توکن و روی L4 برابر 24,096 توکن بود. سرور شما مخزن را بر اساس حافظهی آزاد کارت گرافیک تنظیم میکند، بنابراین از کل این ظرفیت استفاده خواهد کرد.
خط بعدی مخزن را برحسب توکن و تعداد کاربرانی که در حداکثر طول زمینه جا میشوند نشان میدهد:
INFO 10-17 20:13:17 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x24,096 توکن که هر کدام 144 KiB هستند، معادل 3.31 GiB کش کلید-مقدار است.
عدد Maximum concurrency فرض میکند که هر کاربر کل سقف --max-model-len را پر میکند. اما کاربران واقعی فضای کمتری مصرف میکنند؛ بنابراین تعداد بیشتری از آنها جا میشوند. با 512 توکن پرامپت (Prompt) و 128 توکن خروجی، مخزن 24,096 توکنی 37 کاربر را در حداکثر طول زمینهشان پشتیبانی میکند. در طول تست بار، لاگ سرور 40 درخواستِ همزمان در حال اجرا را با پر بودن 99.5 درصدی کش نشان میداد؛ چون کاربرانی که در اوایل پاسخ خود هستند، توکنهای کمتری نگه میدارند.
تصمیمگیری دربارهی اعمال تغییرات
اگر این عدد برای ترافیک شما کم است، چهار راه دارید که بهترتیب هزینه مرتب شدهاند:
- مقدار
--max-model-lenرا تا بیشترین طول زمینهای که کاربران ارسال میکنند کاهش دهید. اندازهی مخزن تغییر نمیکند، اما دیگر یک درخواست طولانی نمیتواند تمام فضا را مصرف کند. - از کش کلید-مقدار FP8 استفاده کنید. این کار حجم هر توکن را نصف میکند. صفحهی کش کلید-مقدار FP8 هزینهها و تأثیرات آن را نشان میدهد.
- از وزنهای FP8 استفاده کنید. این کار حافظهی آزاد بیشتری برای کش باز میکند. صفحهی وزنهای FP8 نشان میدهد چه زمانی این کار ارزشش را دارد.
- از پردازندهای با حافظهی بیشتر استفاده کنید یا مدل را بین چند پردازنده تقسیم کنید. صفحهی موازیسازی این موضوع را پوشش میدهد.
منابع: مستندات vLLM نسخهی v0.31.0 (فایلهای docs/configuration/optimization.md و docs/design/prefix_caching.md)، کانفیگهای مدل Qwen/Qwen3-8B و Qwen/Qwen3-30B-A3B-Instruct-2507 و فایلهای لاگ capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/summary/l4.json و capture/gpu/summary/gb10.json.