بخش 2.1 · تعیین ابعاد و ظرفیت

قبل از انتخاب کارت گرافیک، حافظه را حساب کنید

Count the memory before you pick a GPU

فهرست مطالب
  1. محاسبه‌ی بایت‌ها به‌ازای هر توکن
  2. تبدیل بایت‌ها به کاربران
  3. تطبیق محاسبات با لاگ راه‌اندازی
  4. تصمیم‌گیری درباره‌ی اعمال تغییرات

ظرفیت پذیرش کاربر را کش کلید-مقدار (KV cache) تعیین می‌کند، نه وزن‌های مدل؛ و با چهار عدد از تنظیمات مدل می‌توانید آن را حساب کنید.

کارت گرافیک (GPU) را انتخاب کرده‌اید، اما سرور کمتر از برنامه‌ریزی‌تان کاربر قبول می‌کند. با پایان این بخش، می‌توانید ظرفیت مخزن KV و تعداد کاربران را برای یک مدل و یک طول زمینه (context length) مشخص تخمین بزنید.

نتیجه‌ی آزمایش ما: روی L4 ما با مدل Qwen3-8B، مخزن 24,096 توکنی 37 کاربر با 640 توکن را در خود جای داد؛ هرچند خط راه‌اندازی سرور عدد 2.94 را نشان می‌داد.

محاسبه‌ی بایت‌ها به‌ازای هر توکن

هر توکن در درخواستی در حال اجرا، کلیدها و مقادیرش را تا پایان درخواست در حافظه‌ی کارت گرافیک نگه می‌دارد. چهار عدد از تنظیمات مدل این اندازه را مشخص می‌کنند:

KV bytes per token = layers x KV heads x head size x 2 x bytes per value

ضریب 2 کلید و مقدار را با هم حساب می‌کند. سه متغیر اول را از فایل config.json بخوانید: num_hidden_layers، num_key_value_heads و head_dim. در فرمت BF16، هر مقدار 2 بایت فضا می‌گیرد. با کش کلید-مقدار FP8، این فضا به 1 بایت کاهش می‌یابد.

مدل تعداد لایه‌ها هدهای KV اندازه‌ی هد حجم KV به‌ازای هر توکن در BF16
Qwen/Qwen3-8B 36 8 128 144 KiB
Qwen/Qwen3-30B-A3B-Instruct-2507 48 4 128 96 KiB

مدل مخلوط متخصصان (Mixture of Experts یا MoE) تقریباً چهار برابر مدل متراکم (dense) وزن دارد، اما برای هر توکن بایت کمتری ذخیره می‌کند. تعداد هدهای KV این عدد را مشخص می‌کند، نه تعداد پارامترها.

بایت‌های مورد نیاز به ازای هر توکنمدل Qwen3-8B به ازای هر توکن 144 KiB از کش کلید-مقدار را نگه می‌دارد، و Qwen3-30B-A3B به دلیل داشتن هد‌های KV کمتر، 96 KiB فضا می‌گیرد.
بایت‌هایی که یک توکن در کش کلید-مقدار اشغال می‌کند بایت به ازای هر توکن برابر است با تعداد لایه‌ها ضربدر هدهای KV ضربدر ابعاد هد ضربدر دو (برای کلیدها و مقادیر) ضربدر دو بایت برای BF16. مدل Qwen3-8B دارای 36 لایه، 8 هد KV و بُعد 128 است، بنابراین 144 KiB می‌شود. مدل Qwen3-30B-A3B دارای 48 لایه و 4 هد KV است، پس 96 KiB می‌شود. لایه‌ها هدهای KV ابعاد هد K و V بایت‌های BF16 مدل Qwen3-8B 36 x 8 x 128 x 2 x 2 144 KiB به ازای هر توکن هر کاربر Qwen3-30B-A3B 48 x 4 x 128 x 2 x 2 96 KiB به ازای هر توکن هر کاربر
پنج عدد هر سطر را در هم ضرب کنید. آخرین ضریب، دو بایت برای BF16 است. برگرفته از پیکربندی مدل‌ها در Hugging Face Hub.

تبدیل بایت‌ها به کاربران

vLLM هر حافظه‌ای را که پس از لود وزن‌ها و پروفایلینگ راه‌اندازی باقی بماند، به کش کلید-مقدار اختصاص می‌دهد. آن حافظه را بر بایت‌های مصرفی هر توکن تقسیم کنید تا ظرفیت مخزن به توکن به دست آید. سپس مخزن را بر طول زمینه‌ای که یک کاربر اشغال می‌کند تقسیم کنید:

users that fit = KV pool in tokens / (prompt tokens + output tokens per user)

درخواستی که به بلاک‌هایی بیشتر از ظرفیت آزاد نیاز داشته باشد، در صف می‌ماند. اگر یک درخواست در حال اجرا به بلاک جدیدی نیاز داشته باشد و هیچ بلاکی آزاد نباشد، vLLM اجرای آن را متوقف می‌کند و بعداً آن را دوباره از اول محاسبه می‌کند.

تطبیق محاسبات با لاگ راه‌اندازی

بعد از هر بار راه‌اندازی، دو خط از لاگ را بخوانید. در سرور DGX Spark ما، با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 و پارامتر --gpu-memory-utilization 0.75، لاگ چنین پیامی داد:

خطوط حافظه هنگام شروع GB10 capture/gpu/out-gb10/server-load-vllm.log
(EngineCore pid=143) INFO 10-21 10:58:45 [model_runner.py:407] Model loading took 56.93 GiB memory and 330.542793 seconds
(EngineCore pid=143) INFO 10-21 10:59:46 [gpu_worker.py:692] Available KV cache memory: 31.32 GiB

وزن‌ها 56.93 GiB اشغال کردند و 31.32 GiB برای کش کلید-مقدار باقی ماند.

با مصرف 96 KiB به‌ازای هر توکن، فضای 31.32 GiB حدود 342,000 توکن را در خود جای می‌دهد.

مخزن ثابت: در ارزیابی‌های فراگیر خود (sweeps)، ما اندازه‌ی مخزن را به‌صورت دستی با --num-gpu-blocks-override تنظیم کردیم که تعداد بلاک‌های 16 توکنی را تعیین می‌کند. به vLLM همان مخزنی را دادیم که به سرور SGLang روی همان دستگاه داده بودیم تا هر دو موتور فضای یکسانی داشته باشند. روی DGX Spark این مخزن 234,960 توکن و روی L4 برابر 24,096 توکن بود. سرور شما مخزن را بر اساس حافظه‌ی آزاد کارت گرافیک تنظیم می‌کند، بنابراین از کل این ظرفیت استفاده خواهد کرد.

خط بعدی مخزن را برحسب توکن و تعداد کاربرانی که در حداکثر طول زمینه جا می‌شوند نشان می‌دهد:

خط استخر حافظه از اجرای مقایسه‌ای L4 capture/gpu/out-l4/server-h2h-vllm.log
INFO 10-17 20:13:17 [kv_cache_utils.py:2464] GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x

24,096 توکن که هر کدام 144 KiB هستند، معادل 3.31 GiB کش کلید-مقدار است.

عدد Maximum concurrency فرض می‌کند که هر کاربر کل سقف --max-model-len را پر می‌کند. اما کاربران واقعی فضای کمتری مصرف می‌کنند؛ بنابراین تعداد بیشتری از آن‌ها جا می‌شوند. با 512 توکن پرامپت (Prompt) و 128 توکن خروجی، مخزن 24,096 توکنی 37 کاربر را در حداکثر طول زمینه‌شان پشتیبانی می‌کند. در طول تست بار، لاگ سرور 40 درخواستِ هم‌زمان در حال اجرا را با پر بودن 99.5 درصدی کش نشان می‌داد؛ چون کاربرانی که در اوایل پاسخ خود هستند، توکن‌های کمتری نگه می‌دارند.

استخر حافظه تعداد کاربران را تعیین می‌کندهمان استخر 24,096 توکنی، با حداکثر طول زمینه گنجایش 2.94 کاربر را دارد، اما برای کاربرانی که هر کدام 640 توکن دارند ظرفیت 37 کاربر را فراهم می‌کند.
اندازه استخر بر حسب توکن تعیین می‌کند چند کاربر جا می‌شوند روی L4، استخر حافظه 24,096 توکن ظرفیت داشت. خط راه‌اندازی عدد 2.94 کاربر را گزارش می‌دهد چون فرض می‌کند هر کاربر کل طول زمینه 8,192 توکنی را پر می‌کند. با 512 توکن پرامپت و 128 توکن خروجی، هر کاربر 640 توکن اشغال می‌کند، بنابراین 37 کاربر جا می‌شوند. استخر KV روی L4، مدل Qwen3-8B 24,096 توکن، 3.31 GiB با 144 KiB به ازای هر کدام اگر هر کاربر 8,192 توکن پر کند حداکثر همزمانی 2.94 برابر، عددی که خط راه‌اندازی چاپ می‌کند اگر هر کاربر 640 توکن نگه دارد 37 کاربر جا می‌شوند، هر کدام با 512 توکن پرامپت و 128 توکن خروجی
هر بلوک آبی نشان‌دهنده یک کاربر است. بخش خط‌چین، ظرفیتی از استخر است که توسط یک کاربر با طول زمینه کامل پر نمی‌شود. برگرفته از capture/gpu/out-l4/server-h2h-vllm.log.

تصمیم‌گیری درباره‌ی اعمال تغییرات

اگر این عدد برای ترافیک شما کم است، چهار راه دارید که به‌ترتیب هزینه مرتب شده‌اند:

  1. مقدار --max-model-len را تا بیشترین طول زمینه‌ای که کاربران ارسال می‌کنند کاهش دهید. اندازه‌ی مخزن تغییر نمی‌کند، اما دیگر یک درخواست طولانی نمی‌تواند تمام فضا را مصرف کند.
  2. از کش کلید-مقدار FP8 استفاده کنید. این کار حجم هر توکن را نصف می‌کند. صفحه‌ی کش کلید-مقدار FP8 هزینه‌ها و تأثیرات آن را نشان می‌دهد.
  3. از وزن‌های FP8 استفاده کنید. این کار حافظه‌ی آزاد بیشتری برای کش باز می‌کند. صفحه‌ی وزن‌های FP8 نشان می‌دهد چه زمانی این کار ارزشش را دارد.
  4. از پردازنده‌ای با حافظه‌ی بیشتر استفاده کنید یا مدل را بین چند پردازنده تقسیم کنید. صفحه‌ی موازی‌سازی این موضوع را پوشش می‌دهد.

منابع: مستندات vLLM نسخه‌ی v0.31.0 (فایل‌های docs/configuration/optimization.md و docs/design/prefix_caching.md)، کانفیگ‌های مدل Qwen/Qwen3-8B و Qwen/Qwen3-30B-A3B-Instruct-2507 و فایل‌های لاگ capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/out-l4/server-h2h-vllm.log، capture/gpu/summary/l4.json و capture/gpu/summary/gb10.json.

ترجمه‌ی فارسی Count the memory before you pick a GPU از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما