نوبتهای قبلی گفتوگو مادامی که در کش (cache) بمانند هزینهای ندارند؛ تخلیهی بار (offload) هم وقتی استخر حافظهی GPU پر شود، آنها را حفظ میکند.
گفتوگوی طولانی هرچه جلوتر میرود، کندتر میشود. با پایان این بخش، میآموزید که چطور نوبتهای قبلی را بدون نیاز به یک پیشپرکنی (prefill) کامل، در کش نگه دارید.
چرا نشستهای طولانی کُند میشوند؟
در هر نوبت گفتوگو، کل مکالمه دوباره برای سرور فرستاده میشود. بدون کش، سرور در هر درخواست باید تمام نوبتهای قبلی را از نو پردازش کند؛ در نتیجه با هر نوبت اضافه، رسیدن اولین توکن بیشتر طول میکشد.
کش پیشوندی (prefix cache) تا وقتی نوبتهای قبلی در حافظه بمانند این هزینه را حذف میکند. نوبت 10 با همان توکنهای نوبت 9 شروع میشود؛ بنابراین بلوکهای نوبت 9 به اصابت کش (hit) میرسند. در این حالت سرور فقط پیام جدید کاربر و پاسخ آن را پردازش میکند.
کش هر بلوک را تنها تا زمانی نگه میدارد که درخواستی در حال اجرا به آن حافظه نیاز نداشته باشد. روی یک سرور شلوغ، اگر کاربری فقط یک دقیقه مکث کند، ممکن است تا ارسال نوبت بعدی بلوکهایش پاک شده باشند. آن وقت کل گفتوگو دوباره از اول محاسبه میشود.
پرامپت را در طول نوبتها ثابت نگه دارید
برای رخدادن اصابت کش، توکنها باید دقیقاً با همان ترتیب قبلی ارسال شوند:
- نوبتهای قبلی گفتوگو را موبهمو مانند قبل بفرستید. متن آنها را بین نوبتها کوتاه، خلاصه یا بازنویسی نکنید.
- پرامپت سیستم و فهرست ابزارها را برای کل نشست دستنخورده نگه دارید.
- اگر ناچارید گفتوگو را کوتاهتر کنید، نوبتهای میانی را حذف کنید نه نوبتهای آغازین را. تغییر در شروع مکالمه باعث میشود تمام بلوکهای بعدی بسوزند و از دست بروند (miss).
تخلیهی بار بلوکها به حافظهی میزبان
وقتی استخر حافظهی GPU کوچکتر از آن باشد که نشستهای غیرفعال را نگه دارد، vLLM میتواند بلوکها را قبل از پاک کردن به حافظهی CPU منتقل کند. با ارسال درخواست بعدی، این بلوکها دوباره از حافظهی CPU بارگذاری میشوند که بسیار سریعتر از پیشپرکنی کامل یک زمینهی (context) طولانی است.
تخلیهی بار توکار (native offload) فقط به یک فلگ نیاز دارد: مقدار حافظهی CPU برحسب GiB:
vllm serve Qwen/Qwen3-8B --kv-offloading-size 32
فلگ --kv-offloading-backend روش پیادهسازی را مشخص میکند. گزینهی پیشفرض native است که از کدهای داخل vLLM استفاده میکند. گزینهی lmcache از کتابخانهی LMCache بهره میبرد و به یک فرایند جداگانهی سرور LMCache نیاز دارد. سازوکار تخلیهی بار، حافظهی CPU و زمان انتقال روی گذرگاه PCIe را با توان پردازشی مبادله میکند.
روی سختافزار ما اندازهگیری نشده است. ما زمان بارگذاری مجدد از حافظهی CPU را در مقایسه با پیشپرکنی روی کارتهای L4 یا GB10 نسنجیدهایم.
استفاده از کش مشترک میان سرورها
وقتی چند سرور پشت یک مسیریاب (router) قرار دارند، ممکن است نوبت بعدی کاربر به سروری هدایت شود که اصلاً نوبتهای قبلی را ندیده است. دو راهکار وجود دارد: یک مسیریاب که نشست را به همان سرور قبلی بفرستد تا اصابت کش روی آن حفظ شود؛ یا یک مخزن مشترک KV از طریق یک اتصالدهندهی KV (مانند LMCache یا Mooncake) که به هر سروری اجازه میدهد بلوکها را بارگذاری کند. در صفحهی اتصالدهندهی KV شیوهی دوم توضیح داده شده است.
بررسی کش نشست
نوبت 1 مکالمه را ارسال کنید، سپس نوبت 2 را در حالی بفرستید که نوبت 1 در ابتدای آن قرار دارد. شمارندههای کش پیشوندی را قبل و بعد از نوبت 2 بخوانید:
curl -s localhost:8000/metrics | grep -E "^vllm:(external_)?prefix_cache_(queries|hits)_total"
در طول نوبت 2، مقدار vllm:prefix_cache_hits_total تقریباً به اندازهی طول نوبت 1 (گردشده رو به پایین بر اساس بلوکهای کامل 16 توکنی) افزایش مییابد. ما این مورد را روی یک L4 با مدل Qwen3-0.6B بررسی کردیم. نوبت 1 شامل 2,182 توکن پرامپت بود. در نوبت 2، شمارنده به اندازهی 2,176 واحد زیاد شد که دقیقاً معادل 136 بلوک کامل است. وقتی تخلیهی بار فعال باشد، لاگ راهاندازی نام اتصالدهنده را مشخص میکند که برای بکاند توکار، همان OffloadingConnector است. بلوکی که از حافظهی CPU برگردانده شود، در شمارندهی vllm:external_prefix_cache_hits_total شمرده میشود.
منابع: سورسکد vLLM نسخهی v0.31.0 (مسیرهای vllm/config/cache.py، vllm/config/vllm.py، vllm/v1/kv_offload/base.py، vllm/v1/kv_offload/config.py، vllm/v1/kv_offload/factory.py، vllm/v1/metrics/loggers.py و vllm/distributed/kv_transfer/kv_connector/factory.py)، مستندات vLLM نسخهی v0.31.0 (فایلهای docs/features/kv_offloading_usage.md و docs/design/prefix_caching.md)، لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt.