سؤال مصاحبه

چند کاربر در استخر KV جا می‌شوند؟

How many users fit in the KV pool

  • سطح ۲: میانی
  • تخمین
  • ۱۰ دقیقه

شما مدل Qwen/Qwen3-8B را روی یک GPU با حداکثر طول مدل (maximum model length) معادل 8,192 توکن سرو می‌کنید. هنگام راه‌اندازی، سرور حداکثر هم‌زمانی (maximum concurrency) را 2.94 چاپ می‌کند و مدیری می‌پرسد که آیا این GPU در لحظه فقط می‌تواند به سه کاربر پاسخ دهد؟ کاربران شما پرامپت‌هایی حدوداً 512 توکنی می‌فرستند و تقریباً 128 توکن در پاسخ تحویل می‌گیرند. چطور پاسخ می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

عددی که سرور هنگام بالا آمدن چاپ می‌کند، فرض را بر این می‌گذارد که تک‌تک کاربران کل سقف مجاز کانتکست را پر می‌کنند؛ درحالی‌که کاربران واقعی حافظه‌ی بسیار کمتری نگه می‌دارند. بایت‌های کش کلید-مقدار (KV cache) را برای یک توکن حساب کنید، حجم استخر KV را بر آن تقسیم کنید، و سپس حاصل را بر کانتکستی تقسیم کنید که یک کاربر واقعاً اشغال می‌کند. روی پردازنده‌ی L4 در راهنمای vLLM، استخری با ظرفیت 24,096 توکن برای 37 کاربر با 640 توکن فضا دارد.

پاسخ کامل

بایت‌های لازم برای یک توکن

هر توکن در درخواستی که در حال پردازش است، کلیدها و مقادیر خود را تا پایان درخواست در حافظه‌ی GPU نگه می‌دارد:

KV bytes per token = layers x KV heads x head size x 2 x bytes per value

ضریب 2 برای به‌شمارآوردن هم‌زمان کلید و مقدار است. مدل Qwen/Qwen3-8B دارای 36 لایه، 8 هدِ KV و اندازه‌ی هد (head size) برابر با 128 است. در فرمت BF16 هر مقدار 2 بایت فضا می‌گیرد؛ بنابراین هر توکن 144 کیلوبایت (KiB) فضا می‌برد. هدهای KV این عدد را تعیین می‌کنند، نه تعداد پارامترها: برای نمونه، مدل Qwen/Qwen3-30B-A3B-Instruct-2507 وزن‌های بیشتری دارد اما برای هر توکن 96 کیلوبایت مصرف می‌کند.

از بایت تا تعداد کاربران

سرور حافظه‌ای را که پس از بارگذاری وزن‌ها و پروفایل اولیه‌ی راه‌اندازی باقی می‌ماند، به کش کلید-مقدار اختصاص می‌دهد. خط استخر (pool) در لاگ، نتیجه را برحسب تعداد توکن نشان می‌دهد:

GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x

عدد 2.94 از تقسیم ظرفیت استخر بر کل 8,192 توکن به دست می‌آید. کاربری با 512 توکن پرامپت و 128 توکن خروجی، در پایان پاسخ 640 توکن نگه می‌دارد. همین استخر برای 37 کاربر با این مشخصات جا دارد. در آزمون بار (load sweep)، لاگ سرور 40 درخواستِ در حال پردازش را با پر بودن 99.5 درصدی کش نشان داد؛ چون کاربرانی که در ابتدای پاسخ خود هستند، توکن‌های کمتری نگه می‌دارند.

اگر ظرفیت هنوز کم است، چه تغییراتی بدهیم؟

  1. حداکثر طول مدل را تا بلندترین کانتکستی که کاربران می‌فرستند پایین بیاورید. این کار مانع از آن می‌شود که یک درخواست طولانی، سهم بزرگی از استخر را ببلعد. البته این تغییر در این سناریو به تعداد کاربران اضافه نمی‌کند، چون ظرفیت استخر ثابت می‌ماند.
  2. از کش KV با فرمت FP8 استفاده کنید تا بایتِ مصرفی به ازای هر توکن نصف شود.
  3. از وزن‌های FP8 استفاده کنید تا حافظه‌ی بیشتری برای کش آزاد شود.
  4. از پردازنده‌ی گرافیکی با حافظه‌ی بیشتر استفاده کنید، یا مدل را روی چند GPU پخش کنید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر درخواستی به بلوک‌های بیشتری از بلوک‌های آزاد نیاز داشته باشد چه می‌شود؟ انتظار می‌رود: در صف منتظر می‌ماند. درخواستی هم که در حال اجراست اگر نیازمند بلوکی شود که اکنون آزاد نیست، متوقف شده و بعداً دوباره پردازش می‌شود.
  • سطح 2: چرا مدل‌های مخلوط متخصصان (mixture-of-experts) حافظه‌ی KV کمتری به ازای هر توکن نسبت به مدل متراکم (dense) مصرف می‌کنند؟ انتظار می‌رود: چون هدهای KV کمتری دارند؛ هدهای KV بایت به ازای هر توکن را مشخص می‌کنند، نه وزن‌ها.
  • سطح 3: پس از اجرا، چطور محاسبات خود را بررسی می‌کنید؟ انتظار می‌رود: خط حافظه و خط استخر را در لاگِ راه‌اندازی بخوانید و آن‌ها را با محاسبات حاصل از کانفیگ مدل مقایسه کنید.
  • سطح 3: هزینه‌ی استفاده از کش KV با فرمت FP8 چیست؟ انتظار می‌رود: احتمال افت کیفیت وجود دارد، بنابراین باید قبل از استقرار نهایی، کیفیت را روی ارزیابی‌های خودتان بسنجید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «حافظه‌ی GPU را بر حجم مدل تقسیم کنید.» وزن‌ها تنها بخشی از ماجرا هستند. تعداد کاربرانی که جا می‌شوند به استخر KV و کانتکست مصرفی هر کاربر بستگی دارد.
  • «حداکثر هم‌زمانی در لاگ همان سقف کاربران است.» این رقم فرض را بر این می‌گذارد که هر کاربر کل طول مجاز مدل را پر می‌کند، که کاربران واقعی چنین نمی‌کنند.
  • «پارامتر بیشتر همیشه یعنی حافظه‌ی KV بیشتر برای هر توکن.» بایت‌های هر توکن به تعداد لایه‌ها، هدهای KV و اندازه‌ی هد بستگی دارد.

کجای دوره آموزش داده می‌شود

بخش حافظه در vLLM 101 ظرفیت استخر را از لاگِ راه‌اندازی حساب می‌کند و درس کش KV ساخت این کش را آموزش می‌دهد.