بخش 8.3 · vLLM چگونه کار می‌کند

استخر بلوک‌ها چگونه حافظه‌ی KV را مدیریت می‌کند

How the block pool manages KV memory

فهرست مطالب
  1. بلوک‌ها، نه یک بافر مجزا برای هر درخواست
  2. یافتن دوباره‌ی یک پیشوند
  3. آزادسازی حافظه
  4. گروه‌بندی در مدل‌های ترکیبی

این صفحه به توضیح بلوک‌های کلیدگذاری‌شده با هش، آزادسازی حافظه (eviction) و گروه‌های KV برای مدل‌های ترکیبی (hybrid) می‌پردازد.

پروژه‌ی vLLM با مقاله‌ای پیرامون یک ایده آغاز شد: ذخیره‌ی کش کلید-مقدار (KV cache) در بلوک‌هایی با اندازه‌ی ثابت، درست مثل شیوه‌ی مدیریت حافظه در سیستم‌عامل به‌صورت صفحه (page). پس از مطالعه‌ی این بخش، می‌توانید توضیح دهید vLLM چگونه بلوک مربوط به یک پیشوند تکراری را دوباره پیدا می‌کند و کدام بلوک زودتر از بقیه تخلیه می‌شود.

بلوک‌ها، نه یک بافر مجزا برای هر درخواست

هنگام راه‌اندازی، vLLM کش کلید-مقدار را به بلوک‌های 16 توکنی تقسیم می‌کند و همه‌ی آن‌ها را درون یک استخر (pool) نگه می‌دارد. هر درخواست هم‌گام با رشد طولش، بلوک‌ها را یکی‌یکی دریافت می‌کند. نیازی نیست این بلوک‌ها در حافظه کنار هم باشند؛ جدول کوچکی موقعیت توکن‌های درخواست را به شماره‌ی بلوک‌ها نگاشت می‌کند.

این رویکرد دو نوع هدررفت ناشی از اختصاص بافر به هر درخواست را از بین می‌برد: نه حافظه‌ای برای طولی که درخواست هرگز به آن نمی‌رسد رزرو می‌ماند و نه شکافی میان درخواست‌هایی با طول‌های متفاوت ایجاد می‌شود. مقاله‌ی اصلی این سازوکار را پجد اتنشن (PagedAttention) نامید.

یافتن دوباره‌ی یک پیشوند

وقتی یک بلوک پر می‌شود، vLLM هش توکن‌های آن را به‌همراه هش بلوک قبلی محاسبه می‌کند. این زنجیره باعث می‌شود یک هش به‌تنهایی معرف کل پیشوند باشد، نه فقط 16 توکن. این هش ورودی‌های دیگری را هم که کلیدها و مقدارها را تغییر می‌دهند پوشش می‌دهد؛ مواردی مانند تطبیق‌دهنده‌ی LoRA، تصویرهای پرامپت و یک مقدار سالت (salt) اختیاری برای هر درخواست.

درخواست جدید نیز همین زنجیره‌ی هش را روی پرامپت خود محاسبه می‌کند. موتور، هر هش را درون یک جدول جست‌وجو می‌کند و با رسیدن به اولین عدم تطابق (miss)، متوقف می‌شود. همه‌ی بلوک‌های پیش از این نقطه، تطابق موفق (hit) هستند و توکن‌هایشان نیازی به پردازش مجدد ندارند. از آنجا که فقط بلوک‌های کامل کش می‌شوند، بخش انتهایی پرامپت که کمتر از 16 توکن باشد همیشه از نو محاسبه می‌شود.

از نسخه‌ی 0.11 به بعد، هش پیش‌فرض SHA-256 است. هش سریع‌تری هم به‌صورت اختیاری در دسترس است، اما مستندات هشدار می‌دهند که تداخل هش (collision) ممکن است باعث بازگرداندن داده‌های اشتباه کش یا نشت اطلاعات میان چند کاربر/مستأجر (tenants) شود.

استخر بلوککش کلید-مقدار یک استخر از بلوک‌های 16 توکنی است که درخواست‌ها به هر ترتیبی برمی‌دارند و با یک جدول بلوک برای هر درخواست نگاشت می‌شوند.
یک استخر از بلوک‌های 16 توکنی به همه درخواست‌ها سرویس می‌دهد کش کلید-مقدار یک استخر از بلوک‌های 16 توکنی است. هر درخواست یک جدول بلوک دارد که موقعیت توکن‌هایش را به شماره بلوک‌ها در هر کجای استخر نگاشت می‌کند. بلوک‌های پر برای تطابق پیشوند در یک هش‌مپ فهرست می‌شوند. بلوک‌های آزاد در یک صف منتظر می‌مانند و بلوکی که کمترین استفاده اخیر را داشته ابتدا تخلیه می‌شود. استخر بلوک روی GPU #0 #1 #2 #3 #4 #5 #6 #7 #8 #9 #10 #11 #12 #13 #14 #15 جداول بلوک درخواست A #2, #3, #7 درخواست B #5, #6, #10 پیشوند کش‌شده #11، #12 با هش بلوک‌های خط‌چین آزادند و در صف منتظر می‌مانند. هر بار با پر شدن 16 توکن، درخواست یک بلوک می‌گیرد. وقتی صف خالی است، بلوک کش‌شده‌ای که کمترین استفاده اخیر را داشته ابتدا تخلیه می‌شود.
بلوک‌های رنگی متعلق به درخواست هم‌رنگ هستند. بلوک‌های خط‌چین آزادند. برگرفته از سورس vLLM در v0.31.0.

آزادسازی حافظه

بلوکی که هیچ درخواستی از آن استفاده نمی‌کند، وارد فهرست آزاد (free list) می‌شود و هش خود را نگه می‌دارد. بنابراین درخواستی که بعداً با همان پیشوند برسد، همچنان می‌تواند از آن بهره ببرد. هر زمان vLLM به بلوک جدیدی نیاز داشته باشد، بلوکِ سرِ (head) فهرست آزاد را برمی‌دارد؛ یعنی همان بلوکی که برای طولانی‌ترین مدت بی‌استفاده مانده است. تنها در این لحظه محتوای قبلی پاک می‌شود.

بنابراین، خودِ استخر همان کش است. حافظه‌ی جداگانه‌ای برای کش وجود ندارد و یک سرور شلوغ، پیشوندهای قدیمی کمتری را نسبت به یک سرور خلوت نگه می‌دارد.

گروه‌بندی در مدل‌های ترکیبی

مدلی با لایه‌های پنجره‌ی لغزان (sliding-window) یا لایه‌های فضای حالت (state-space)، برای هر توکن در تمام لایه‌ها یک مدخل ذخیره نمی‌کند. موتور هر نوع لایه را درون گروه اختصاصی خودش قرار می‌دهد. هر گروه اندازه‌ی صفحه‌ی مخصوص و قاعده‌ی جداگانه‌ای برای تطابق در کش دارد؛ برای مثال، یک لایه‌ی پنجره‌ی لغزان فقط به بلوک‌های داخل آخرین پنجره نیاز دارد. این گروه‌ها از یک استخر مشترک استفاده می‌کنند. صفحه‌ی پردازش متن‌های طولانی توضیح می‌دهد که این سازوکار چه معنایی برای تنظیمات شما دارد.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/v1/core/kv_cache_manager.py، vllm/v1/core/block_pool.py، vllm/v1/core/kv_cache_utils.py و vllm/config/cache.py)، مستندات vLLM در نسخه‌ی v0.31.0 (مسیرهای docs/design/prefix_caching.md و docs/design/hybrid_kv_cache_manager.md)، مقاله‌ی PagedAttention (کنفرانس SOSP 2023).

ترجمه‌ی فارسی How the block pool manages KV memory از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما