این صفحه به توضیح بلوکهای کلیدگذاریشده با هش، آزادسازی حافظه (eviction) و گروههای KV برای مدلهای ترکیبی (hybrid) میپردازد.
پروژهی vLLM با مقالهای پیرامون یک ایده آغاز شد: ذخیرهی کش کلید-مقدار (KV cache) در بلوکهایی با اندازهی ثابت، درست مثل شیوهی مدیریت حافظه در سیستمعامل بهصورت صفحه (page). پس از مطالعهی این بخش، میتوانید توضیح دهید vLLM چگونه بلوک مربوط به یک پیشوند تکراری را دوباره پیدا میکند و کدام بلوک زودتر از بقیه تخلیه میشود.
بلوکها، نه یک بافر مجزا برای هر درخواست
هنگام راهاندازی، vLLM کش کلید-مقدار را به بلوکهای 16 توکنی تقسیم میکند و همهی آنها را درون یک استخر (pool) نگه میدارد. هر درخواست همگام با رشد طولش، بلوکها را یکییکی دریافت میکند. نیازی نیست این بلوکها در حافظه کنار هم باشند؛ جدول کوچکی موقعیت توکنهای درخواست را به شمارهی بلوکها نگاشت میکند.
این رویکرد دو نوع هدررفت ناشی از اختصاص بافر به هر درخواست را از بین میبرد: نه حافظهای برای طولی که درخواست هرگز به آن نمیرسد رزرو میماند و نه شکافی میان درخواستهایی با طولهای متفاوت ایجاد میشود. مقالهی اصلی این سازوکار را پجد اتنشن (PagedAttention) نامید.
یافتن دوبارهی یک پیشوند
وقتی یک بلوک پر میشود، vLLM هش توکنهای آن را بههمراه هش بلوک قبلی محاسبه میکند. این زنجیره باعث میشود یک هش بهتنهایی معرف کل پیشوند باشد، نه فقط 16 توکن. این هش ورودیهای دیگری را هم که کلیدها و مقدارها را تغییر میدهند پوشش میدهد؛ مواردی مانند تطبیقدهندهی LoRA، تصویرهای پرامپت و یک مقدار سالت (salt) اختیاری برای هر درخواست.
درخواست جدید نیز همین زنجیرهی هش را روی پرامپت خود محاسبه میکند. موتور، هر هش را درون یک جدول جستوجو میکند و با رسیدن به اولین عدم تطابق (miss)، متوقف میشود. همهی بلوکهای پیش از این نقطه، تطابق موفق (hit) هستند و توکنهایشان نیازی به پردازش مجدد ندارند. از آنجا که فقط بلوکهای کامل کش میشوند، بخش انتهایی پرامپت که کمتر از 16 توکن باشد همیشه از نو محاسبه میشود.
از نسخهی 0.11 به بعد، هش پیشفرض SHA-256 است. هش سریعتری هم بهصورت اختیاری در دسترس است، اما مستندات هشدار میدهند که تداخل هش (collision) ممکن است باعث بازگرداندن دادههای اشتباه کش یا نشت اطلاعات میان چند کاربر/مستأجر (tenants) شود.
آزادسازی حافظه
بلوکی که هیچ درخواستی از آن استفاده نمیکند، وارد فهرست آزاد (free list) میشود و هش خود را نگه میدارد. بنابراین درخواستی که بعداً با همان پیشوند برسد، همچنان میتواند از آن بهره ببرد. هر زمان vLLM به بلوک جدیدی نیاز داشته باشد، بلوکِ سرِ (head) فهرست آزاد را برمیدارد؛ یعنی همان بلوکی که برای طولانیترین مدت بیاستفاده مانده است. تنها در این لحظه محتوای قبلی پاک میشود.
بنابراین، خودِ استخر همان کش است. حافظهی جداگانهای برای کش وجود ندارد و یک سرور شلوغ، پیشوندهای قدیمی کمتری را نسبت به یک سرور خلوت نگه میدارد.
گروهبندی در مدلهای ترکیبی
مدلی با لایههای پنجرهی لغزان (sliding-window) یا لایههای فضای حالت (state-space)، برای هر توکن در تمام لایهها یک مدخل ذخیره نمیکند. موتور هر نوع لایه را درون گروه اختصاصی خودش قرار میدهد. هر گروه اندازهی صفحهی مخصوص و قاعدهی جداگانهای برای تطابق در کش دارد؛ برای مثال، یک لایهی پنجرهی لغزان فقط به بلوکهای داخل آخرین پنجره نیاز دارد. این گروهها از یک استخر مشترک استفاده میکنند. صفحهی پردازش متنهای طولانی توضیح میدهد که این سازوکار چه معنایی برای تنظیمات شما دارد.
منابع: سورسکد vLLM در نسخهی v0.31.0 (مسیرهای vllm/v1/core/kv_cache_manager.py، vllm/v1/core/block_pool.py، vllm/v1/core/kv_cache_utils.py و vllm/config/cache.py)، مستندات vLLM در نسخهی v0.31.0 (مسیرهای docs/design/prefix_caching.md و docs/design/hybrid_kv_cache_manager.md)، مقالهی PagedAttention (کنفرانس SOSP 2023).