بخش 8.8 · vLLM چگونه کار می‌کند

نحوه‌ی جابه‌جایی کش کلید-مقدار توسط اتصال‌دهنده‌ها

How KV connectors move the cache

فهرست مطالب
  1. چرا کش را جابه‌جا می‌کنیم؟
  2. یک رابط، چندین بستر انتقال
  3. مزایای تفکیک چیست؟
  4. مسیر پیش‌رو

این صفحه رابط اتصال‌دهنده (connector interface) و لایه‌های انتقال داده را توضیح می‌دهد.

در برخی معماری‌ها، کش کلید-مقدار (KV cache) یک درخواست باید در جایی غیر از GPU محاسبه‌کننده‌ی آن قرار بگیرد. با پایان این بخش، می‌توانید وظایف اتصال‌دهنده‌ی کش کلید-مقدار (KV connector) را نام ببرید و بگویید که پیش‌پرکنی تفکیک‌شده (disaggregated prefill) چه مزایایی به همراه دارد و چه کارهایی از دست آن برنمی‌آید.

چرا کش را جابه‌جا می‌کنیم؟

سه معماری به این جابه‌جایی نیاز دارند:

  • پیش‌پرکنی تفکیک‌شده. یک سرور پرامپت را پردازش می‌کند و سرور دیگری پاسخ را تولید می‌کند. کش کلید-مقدار باید از سرور اول به سرور دوم منتقل شود.
  • تخلیه‌ی کش (Offloading). بلوک‌هایی که در GPU جا نمی‌شوند، به حافظه‌ی CPU یا فضای ذخیره‌سازی می‌روند و وقتی درخواستی در آینده به همان پیشوند نیاز داشته باشد، برمی‌گردند.
  • کش مشترک. چند سرور، پیشوندها را از یک منبع واحد می‌خوانند؛ بنابراین پیشوندی که یک‌بار محاسبه شده باشد، به کار همه‌ی آن‌ها می‌آید.

یک رابط، چندین بستر انتقال

vLLM تمام این وظایف را پشت یک رابط واحد قرار داده است: اتصال‌دهنده‌ی کش کلید-مقدار. اسکژولر (scheduler) از اتصال‌دهنده می‌پرسد که کدام بلوک‌های یک درخواست را می‌تواند از بیرون بارگذاری کند. سپس آن توکن‌ها را درست مانند اصابت موفق به کش پیشوند (prefix-cache hit)، محاسبه‌شده در نظر می‌گیرد. ورکر (worker) نیز قبل و بعد از هر گذر رو به جلو (forward pass)، از اتصال‌دهنده می‌خواهد که بلوک‌ها را بارگذاری یا ذخیره کند.

در نسخه‌ی 0.31.0، مخزن اتصال‌دهنده‌هایی برای چندین بستر انتقال (transport) دارد:

اتصال‌دهنده ابزار جابه‌جایی کش
NIXL کتابخانه‌ی انتقال NVIDIA، از طریق RDMA یا شبکه
Mooncake موتور انتقال Mooncake
LMCache کتابخانه‌ی LMCache، برای CPU، دیسک و فضاهای ذخیره‌سازی مشترک
Offloading تخلیه‌ی پیش‌فرض به حافظه‌ی CPU
MultiConnector دو یا چند اتصال‌دهنده در کنار هم

اتصال‌دهنده را با --kv-transfer-config تنظیم کنید که نام اتصال‌دهنده، نقش سرور و گزینه‌های بستر انتقال را مشخص می‌کند. نقش سرور تعیین می‌کند که سرور تولیدکننده‌ی کش است، مصرف‌کننده‌ی آن است، یا هر دو کار را انجام می‌دهد.

مزایای تفکیک چیست؟

مستندات vLLM می‌گویند پیش‌پرکنی تفکیک‌شده نرخ پردازش (throughput) را بالا نمی‌برد، بلکه دو دلیل دیگر برای استفاده از آن می‌آورد: می‌توانید توکن اول و استریم توکن‌های بعدی را روی سرورهای جداگانه تنظیم و بهینه‌سازی کنید. همچنین می‌توانید مانع از آن شوید که پرامپت‌های طولانی استریم سایر کاربران را متوقف کنند؛ موضوعی که دنباله‌ی تاخیر بین‌توکنی (inter-token latency tail) را مهار می‌کند.

بهای این کار، یک‌بار انتقال داده به ازای هر درخواست و نیاز به ماشین‌های بیشتر برای اجراست. اگر بارگذاری کش ناموفق باشد، سیاست پیش‌فرض رد کردن درخواست است؛ البته گزینه‌ای برای محاسبه‌ی مجدد نیز وجود دارد.

مسیر پیش‌رو

رابط اتصال‌دهنده یکی از فعال‌ترین بخش‌های کد است. در اکتبر 2026، کارهای در دست توسعه به سه بخش تقسیم می‌شدند: یکی تخلیه‌ی کش کلید-مقدار بدون وابستگی به اندازه‌ی موازی‌سازی تنسور (tensor-parallel size)؛ دیگری لایه‌ی فشرده‌سازی برای بلوک‌های منتقل‌شده؛ و آخری ترمیمی برای بلوک‌هایی که هنگام خواندن از راه‌دور آزاد می‌شوند. وقتی پروژه‌ای را بر پایه‌ی یک اتصال‌دهنده می‌سازید، نسخه‌ی آن را قفل کنید (pin کنید) و اول issues باز آن را بخوانید.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/distributed/kv_transfer/ و vllm/config/kv_transfer.py)، مستندات vLLM در نسخه‌ی v0.31.0 (فایل‌های docs/features/disagg_prefill.md و docs/features/nixl_connector_usage.md)، issues شماره‌ی 61886، 59538 و 61229 در vLLM.

ترجمه‌ی فارسی How KV connectors move the cache از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما