کش پیشوند (Prefix Caching) بهطور پیشفرض فعال است، اما تنها زمانی بازدهی دارد که بخش مشترک پرامپت در ابتدای آن قرار بگیرد.
در هر درخواست، همان پرامپت سیستمیِ طولانی تکرار میشود. با خواندن این بخش یاد میگیرید پرامپت را طوری بچینید که به کش برخورد کند (Hit) و این اصابت را از روی متریکها بسنجید.
نتیجهی ما: روی پردازندهی L4، کش زمان تولید اولین توکن را در تمام طولهای پیشوند نزدیک 400 ms نگه داشت. بدون کش، زمان تولید اولین توکن به ازای 1,024 توکن مشترک به 1,213 ms رسید.
تأثیر کش را در عمل ببینید
کش پیشوند در vLLM 0.31.0 بهطور پیشفرض فعال است. ما همین بار کاری را در دو حالتِ فعال و غیرفعال، روی L4 با مدل Qwen/Qwen3-8B اجرا کردیم. در هر سناریو، 4 گروه 16تایی پرامپت با 8 کاربر همروند ارسال شد. پرامپتهای هر گروه پرامپت سیستمی مشترکی با طولهای مشخصشده در جدول داشتند. سپس به هر پرامپت یک پرسش 128 توکنی اضافه شد و مدل باید 64 توکن در پاسخ برمیگرداند.
| توکنهای مشترک پرامپت، نشست L4 با کلاک کامل | میانهی TTFT، با کش | میانهی TTFT، بدون کش | توکن خروجی بر ثانیه، با کش / بدون کش |
|---|---|---|---|
| none | 408 ms | 392 ms | 113.8 / 113.6 |
| 256 | 488 ms | 753 ms | 111.5 / 99.1 |
| 1,024 | 396 ms | 1,213 ms | 106.0 / 70.9 |
| 2,048 | 410 ms | 2,550 ms | 100.2 / 46.6 |
| 4,096 | 375 ms | 13,353 ms | 86.8 / 19.6 |
با کش فعال، دریافت اولین توکن در تمام طولهای پیشوند حدود 400 ms زمان برد. بدون کش، زمان رسیدن اولین توکن همگام با بخش مشترک رشد کرد؛ چون هر درخواست باید کل پرامپت را دوباره محاسبه میکرد.
دو ردیف آخر را با دقت بررسی کنید. بدون کش، پردازندهی گرافیکی افت توان پیدا کرد (Throttle شد). میانهی کلاک کاری در 2,048 توکن تا 1,035 MHz و در 4,096 توکن تا 675 MHz افت کرد. تمیزترین مقایسه مربوط به ردیف 1,024 توکن است؛ جایی که کلاک هر دو اجرا روی 1,410 MHz یا بیشتر باقی ماند. در آن سناریو، کش زمان دریافت اولین توکن را حدود 3 برابر کم کرد و بازده خروجی را 50 درصد افزایش داد. تستهای با کش در تاریخهای 2026-10-17 و 2026-10-18 اجرا شدند و تستهای بدون کش در تاریخ 2026-10-21.
لاگ سرور، نرخ اصابت (Hit Rate) را هر چند ثانیه یک بار گزارش میدهد:
INFO 10-18 00:43:16 [loggers.py:320] Engine 000: Avg prompt throughput: 231.0 tokens/s, Avg generation throughput: 93.6 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 77.2%, Prefix cache hit rate: 87.2%87 درصد از توکنهای پرامپت از کَش خوانده شدند.
بخش مشترک را در ابتدا بیاورید
کش، پرامپت را از توکن اول و در قالب بلوکهای 16 توکنی بررسی و تطبیق میدهد. این فرایند با رسیدن به اولین بلوک متفاوت متوقف میشود. بنابراین برای اصابت به کش، باید دقیقاً همان توکنها با همان ترتیب در ابتدای پرامپت قرار بگیرند.
- بخشهایی را که هرگز تغییر نمیکنند اول بگذارید: پرامپت سیستم، تعریف ابزارها (Tool Definitions) و دستورالعملهای ثابت.
- بخشهایی را که بهندرت تغییر میکنند بعد از آنها بیاورید، مثل اسناد مربوط به یک نشست (Session).
- بخشهایی را که در هر درخواست عوض میشوند در انتها قرار دهید: پرسش کاربر، زمان و شناسهی درخواست (Request ID).
گذاشتن برچسب زمان یا شناسه نزدیک به ابتدای پرامپت، همان بلوک اول را دستخوش تغییر میکند و باعث میشود تمام بلوکهای بعدی اصابت به کش را از دست بدهند (Miss). الگوی چت (chat template) خود را هم بازبینی کنید؛ بعضی الگوها تاریخ را داخل پرامپت سیستم میگذارند.
vLLM فقط بلوکهای کامل را کش میکند. یک بخش مشترک 20 توکنی، فقط یک بلوک کششدهی 16تایی میسازد و 4 توکن پایانی همیشه دوباره محاسبه میشوند.
جداسازی بار کاربران
دو کاربر با پیشوند پرامپت یکسان، از بلوکهای کششدهی مشترک استفاده میکنند. این فرایند اگرچه در منابع پردازشی صرفهجویی میکند، اما باعث میشود اختلاف زمان پاسخدهی برای یک کاربر، محتوای ارسالی کاربر دیگر را فاش کند. برای تفکیک کامل کاربران از یکدیگر، همراه با هر درخواست فیلد cache_salt را بفرستید. درخواستهایی با saltهای متفاوت هیچوقت در بلوکها شریک نمیشوند. تطبیقدهندهی LoRA (یا همان Adapter) هم جزئی از کلید بلوک است؛ در نتیجه دو تطبیقدهنده هیچگاه بلوک مشترک نخواهند داشت.
بررسی و اثبات اصابت به کش
این دو شمارنده را از اندپوینت /metrics بخوانید:
curl -s localhost:8000/metrics | grep -E "^vllm:prefix_cache_(queries|hits)"
از تقسیم تعداد اصابتها بر کل پرسوجوها، نرخ اصابت به دست میآید. برای آزمودن یک پرامپت، همان پرامپت طولانی را دو بار ارسال کنید و زمان تولید اولین توکن در بار دوم را با بار اول بسنجید.
اگر نرخ اصابت پایین است، علت آن تقریباً در تمام موارد چیدمان نادرست پرامپت است. پر شدن استخر حافظه دلیل دوم است؛ چون کش، بلوکهای قدیمی را فقط تا زمانی نگه میدارد که درخواست دیگری حین اجرا به حافظه نیاز پیدا نکند.
منابع: capture/gpu/summary/l4.json (prefix.vllm, prefix.vllm-no-prefix-cache)، capture/gpu/out-l4/server-h2h-prefix-vllm.log، capture/gpu/out-l4/server-h2h-prefix-vllm-no-cache.log، مستندات vLLM در نگارش v0.31.0 (docs/design/prefix_caching.md)، سورسکد vLLM در نگارش v0.31.0 (vllm/v1/core/kv_cache_utils.py, vllm/config/cache.py).