سؤال مصاحبه

محاسبه‌ی بایت‌های کش کلید-مقدار به‌ازای هر توکن از روی کانفیگ

Count the KV bytes per token from the config

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

کانفیگ دو مدل به شما داده شده است. مدل A با 36 لایه، 8 هد KV و اندازه‌ی هد 128. مدل B با 48 لایه، 4 هد KV، اندازه‌ی هد 128 و تقریباً چهار برابر پارامتر بیشتر. حجم کش کلید-مقدار (KV cache) به‌ازای هر توکن را برای هر دو مدل در قالب BF16 تخمین بزنید، مشخص کنید در یک استخر KV با اندازه‌ی یکسان کدام مدل کاربران بیشتری را جا می‌دهد، و اگر تعداد پارامترها شما را به اشتباه انداخته، دلیلش را توضیح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بایت‌های KV به‌ازای هر توکن برابر است با 2 ضربدر تعداد لایه‌ها ضربدر تعداد هدهای KV ضربدر اندازه‌ی هد ضربدر بایت به‌ازای هر مقدار؛ که عدد 2 برای احتساب هم‌زمان کلید (Key) و مقدار (Value) است. مدل A که همان Qwen/Qwen3-8B است، 2 × 36 × 8 × 128 × 2 بایت نگه می‌دارد که می‌شود 144 KiB به‌ازای هر توکن؛ مدل B که همان Qwen/Qwen3-30B-A3B است، 2 × 48 × 4 × 128 × 2 بایت نگه می‌دارد که معادل 98,304 بایت یا 96 KiB است. مدل بزرگ‌تر بایت کمتری به‌ازای هر توکن ذخیره می‌کند و در استخری با حجم یکسان کاربران بیشتری را جا می‌دهد؛ چون تعداد هدهای KV و لایه‌ها هزینه‌ی حافظه را مشخص می‌کنند، نه تعداد پارامترها. البته روی یک کارت گرافیک، مدل بزرگ‌تر به فضایی تقریباً چهار برابر بیشتر برای وزن‌ها نیاز دارد؛ بنابراین استخر آن کوچک‌تر خواهد بود و در مجموع کاربران کمتری را جا می‌دهد.

پاسخ کامل

فرمول و تطبیق آن با لاگ

KV bytes per token = 2 x layers x KV heads x head size x bytes per value

سه عدد اول را از کانفیگ مدل تحت عناوین num_hidden_layers، num_key_value_heads و head_dim بخوانید. در فرمت BF16 هر مقدار 2 بایت فضا می‌گیرد؛ در کش FP8 این مقدار به 1 بایت می‌رسد. SGLang هنگام راه‌اندازی این خروجی را چاپ می‌کند. برای مدل Qwen3-0.6B، لاگ مقدار bytes_per_slot=114688 را ثبت کرد و در خط مربوط به استخر، تک‌تک متغیرها مشخص بودند: 28 لایه، 8 هد KV، ابعاد هد 128 و دقت bfloat16. حاصل‌ضرب این اعداد 2 × 28 × 8 × 128 × 2 است که می‌شود 114,688 بایت یا 112 KiB. فرمول و لاگ حتی در یک بایت هم با هم اختلاف ندارند.

همین محاسبات روی کانفیگ‌های عمومی

مدل اتنشن بایت به‌ازای هر توکن در BF16 به‌ازای هر GPU
Qwen3-0.6B اتنشن پرس‌وجوی گروه‌بندی‌شده (GQA)، 28 لایه، 8 هد KV 112 KiB 112 KiB روی یک GPU
Qwen3-8B اتنشن پرس‌وجوی گروه‌بندی‌شده (GQA)، 36 لایه، 8 هد KV 144 KiB 144 KiB روی یک GPU
Qwen3-30B-A3B اتنشن پرس‌وجوی گروه‌بندی‌شده (GQA)، 48 لایه، 4 هد KV 96 KiB 96 KiB روی یک GPU
Llama-3.1-8B اتنشن پرس‌وجوی گروه‌بندی‌شده (GQA)، 32 لایه، 8 هد KV 128 KiB 128 KiB روی یک GPU
Llama-3.1-70B اتنشن پرس‌وجوی گروه‌بندی‌شده (GQA)، 80 لایه، 8 هد KV 320 KiB 40 KiB با موازی‌سازی تنسور (Tensor Parallelism) هشت‌مسیره
DeepSeek-V3 اتنشن چندسر نهفته (MLA)، 61 لایه، متغیر نهفته‌ی 512 به‌علاوه‌ی 64 68.6 KiB 68.6 KiB روی تمام GPUها

دو نتیجه اغلب افراد را غافلگیر می‌کند: هزینه‌ی حافظه‌ی یک مدل 0.6B به‌ازای هر توکن تقریباً با یک مدل 8B برابری می‌کند. همچنین یک گفت‌وگوی 100,000 توکنی روی Llama-3.1-8B حدود 12.2 GiB کش KV مصرف می‌کند که به حجم کل وزن‌های مدل بسیار نزدیک است.

چرا تعداد پارامترها فریبنده است؟

در اتنشن پرس‌وجوی گروه‌بندی‌شده، چند هد پرس‌وجو (Query) در یک هد کلید و مقدار مشترک هستند؛ بنابراین مدل‌های امروزی هدهای KV بسیار کمتری نسبت به هدهای اتنشن دارند و تعداد هدهای KV یک تصمیم در طراحی معماری است که ربطی به تعداد پارامترها ندارد. این مدل ترکیب متخصصان (MoE) تقریباً چهار برابر مدل متراکم (Dense) 8B وزن دارد، اما مصرف بایت آن به‌ازای هر توکن دو سوم آن است.

اتنشن چندسر نهفته به‌جای ذخیره‌ی جداگانه‌ی کلیدها و مقادیر برای هر هد، یک بردار نهفته‌ی فشرده به‌ازای هر توکن ذخیره می‌کند. حجم آن به‌ازای هر توکن اندک است، اما هر رتبه‌ی (Rank) موازی‌سازی تنسور، کل بردار نهفته را ذخیره می‌کند؛ بنابراین اضافه کردن GPU با موازی‌سازی تنسور ظرفیت توکن بیشتری فراهم نمی‌کند.

تبدیل بایت‌ها به استخر حافظه

موتور پردازش آنچه را که بعد از وزن‌ها و پروفایل اولیه‌ی راه‌اندازی باقی می‌ماند، به کش اختصاص می‌دهد. روی یک پردازنده‌ی GB10 با مدل 30B، مقدار 31.32 GiB حافظه‌ی KV با نرخ 96 KiB به‌ازای هر توکن، حدود 342,000 توکن را جا می‌دهد. روی یک کارت L4 با مدل Qwen3-8B، استخری با ظرفیت 24,096 توکن با نرخ 144 KiB معادل 3.31 GiB فضا می‌گیرد. برای به‌دست آوردن تعداد کاربرانی که هم‌زمان جا می‌شوند، ظرفیت استخر را بر طول زمینه‌ی (Context) هر کاربر (پرامپت به‌علاوه‌ی خروجی) تقسیم کنید. استفاده از کش FP8 بایت‌ها را به نصف می‌رساند: برای مدل 30B هر توکن به‌جای 98,304 بایت، 49,152 بایت مصرف کرد و هم‌زمان با وزن‌های FP8، ظرفیت استخر GB10 از 227,243 به 1,083,008 توکن جهش یافت.

این ارقام را از کجا بخوانیم؟

vLLM مقادیر Available KV cache memory و GPU KV cache size را به همراه حداکثر هم‌زمانی در حداکثر طول کانتکست چاپ می‌کند. SGLang مقدار bytes_per_slot یا خط KV Cache is allocated را با تعداد توکن‌ها می‌آورد و متغیر max_total_num_tokens نتیجه‌ی نهایی کل این محاسبات است. قبل از هر برنامه‌ریزی، مطمئن شوید عدد محاسبه‌شده با مقدار ثبت‌شده در لاگ هم‌خوانی دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مدل Qwen3-0.6B دارای 28 لایه و 8 هد KV با اندازه‌ی هد 128 است. هزینه‌ی هر توکن چقدر است و لاگ چه عددی را نشان داد؟ پاسخ مورد انتظار: 2 × 28 × 8 × 128 × 2 بایت، معادل 114,688 بایت یا 112 KiB؛ لاگ اولیه‌ی اجرا عبارت bytes_per_slot=114688 را چاپ کرد؛ بنابراین فرمول و لاگ مو‌به‌مو با هم مطابقت دارند.
  • سطح 3: یک مدل متراکم 70B با 80 لایه و 8 هد KV از طریق موازی‌سازی تنسور روی 8 پردازنده‌ی گرافیکی توزیع شده است. هر GPU به‌ازای هر توکن چه مقداری را نگه می‌دارد؟ پاسخ مورد انتظار: 320 KiB در مجموع و 40 KiB روی هر GPU؛ چون موازی‌سازی تنسور هدهای KV را بین رتبه‌ها تقسیم می‌کند.
  • سطح 4: چرا همین تقسیم‌بندی کمکی به مدل مبتنی بر اتنشن نهفته نمی‌کند؟ پاسخ مورد انتظار: این نوع اتنشن به‌ازای هر توکن یک متغیر نهفته‌ی فشرده ذخیره می‌کند (حدود 68.6 KiB برای یک مدل 61 لایه) که قابل تقسیم بین هدها نیست؛ هر رتبه کل بردار نهفته را ذخیره می‌کند، بنابراین هشت پردازنده‌ی گرافیکی هشت نسخه‌ی یکسان نگه می‌دارند و هیچ توکن اضافه‌ای جا نمی‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل بزرگ‌تر همیشه به کش KV بیشتری به‌ازای هر توکن نیاز دارد.» تعداد لایه‌ها و هدهای KV تعیین‌کننده‌ی هزینه هستند؛ مدل 30B مبتنی بر متخصصان 96 KiB به‌ازای هر توکن نگه می‌دارد، در حالی که این رقم برای مدل متراکم 8B برابر با 144 KiB است.
  • «مدل کوچک به کش کوچکی نیاز دارد.» مدل Qwen3-0.6B به‌ازای هر توکن 112 KiB نگه می‌دارد که تقریباً به‌اندازه‌ی یک مدل 8B است؛ چون 28 لایه و 8 هد KV دارد.
  • «موازی‌سازی تنسور همیشه ظرفیت KV را بیشتر می‌کند.» این کار هدهای KV را در یک مدل مبتنی بر اتنشن پرس‌وجوی گروه‌بندی‌شده تقسیم می‌کند، اما مدل مبتنی بر اتنشن نهفته کل متغیر نهفته را روی هر رتبه ذخیره می‌کند، بنابراین رتبه‌های بیشتر توکنی اضافه نمی‌کنند.
  • «تعداد وزن‌ها را بشمارید و از حجم کارت کم کنید تا حافظه‌ی کش به دست آید.» موتور پردازش حافظه‌ای را هم برای پروفایل اولیه و گراف اجرایی نگه می‌دارد؛ مقدار حافظه‌ی آزاد KV و اندازه‌ی استخر را از لاگ راه‌اندازی بخوانید و سپس بر بایت به‌ازای هر توکن تقسیم کنید.

کجای دوره آموزش داده می‌شود

بخش‌های قبل از انتخاب GPU حافظه را محاسبه کنید و استخر KV و بایت‌های هر توکن فرمول را استخراج و با لاگ‌ها تطبیق می‌دهند، و بخش کوانتیزه‌سازی در SGLang با FP8 این مقدار را به نصف می‌رساند.