بخش 3.2 · تنظیم متناسب با ترافیک شما

پرامپت‌های تکراری را به کش پیشوند برسانید

Make repeated prompts hit the prefix cache

فهرست مطالب
  1. تأثیر کش را در عمل ببینید
  2. بخش مشترک را در ابتدا بیاورید
  3. جداسازی بار کاربران
  4. بررسی و اثبات اصابت به کش

کش پیشوند (Prefix Caching) به‌طور پیش‌فرض فعال است، اما تنها زمانی بازدهی دارد که بخش مشترک پرامپت در ابتدای آن قرار بگیرد.

در هر درخواست، همان پرامپت سیستمیِ طولانی تکرار می‌شود. با خواندن این بخش یاد می‌گیرید پرامپت را طوری بچینید که به کش برخورد کند (Hit) و این اصابت را از روی متریک‌ها بسنجید.

نتیجه‌ی ما: روی پردازنده‌ی L4، کش زمان تولید اولین توکن را در تمام طول‌های پیشوند نزدیک 400 ms نگه داشت. بدون کش، زمان تولید اولین توکن به ازای 1,024 توکن مشترک به 1,213 ms رسید.

تأثیر کش را در عمل ببینید

کش پیشوند در vLLM 0.31.0 به‌طور پیش‌فرض فعال است. ما همین بار کاری را در دو حالتِ فعال و غیرفعال، روی L4 با مدل Qwen/Qwen3-8B اجرا کردیم. در هر سناریو، 4 گروه 16تایی پرامپت با 8 کاربر هم‌روند ارسال شد. پرامپت‌های هر گروه پرامپت سیستمی مشترکی با طول‌های مشخص‌شده در جدول داشتند. سپس به هر پرامپت یک پرسش 128 توکنی اضافه شد و مدل باید 64 توکن در پاسخ برمی‌گرداند.

توکن‌های مشترک پرامپت، نشست L4 با کلاک کامل میانه‌ی TTFT، با کش میانه‌ی TTFT، بدون کش توکن خروجی بر ثانیه، با کش / بدون کش
none 408 ms 392 ms 113.8 / 113.6
256 488 ms 753 ms 111.5 / 99.1
1,024 396 ms 1,213 ms 106.0 / 70.9
2,048 410 ms 2,550 ms 100.2 / 46.6
4,096 375 ms 13,353 ms 86.8 / 19.6

با کش فعال، دریافت اولین توکن در تمام طول‌های پیشوند حدود 400 ms زمان برد. بدون کش، زمان رسیدن اولین توکن هم‌گام با بخش مشترک رشد کرد؛ چون هر درخواست باید کل پرامپت را دوباره محاسبه می‌کرد.

دو ردیف آخر را با دقت بررسی کنید. بدون کش، پردازنده‌ی گرافیکی افت توان پیدا کرد (Throttle شد). میانه‌ی کلاک کاری در 2,048 توکن تا 1,035 MHz و در 4,096 توکن تا 675 MHz افت کرد. تمیزترین مقایسه مربوط به ردیف 1,024 توکن است؛ جایی که کلاک هر دو اجرا روی 1,410 MHz یا بیشتر باقی ماند. در آن سناریو، کش زمان دریافت اولین توکن را حدود 3 برابر کم کرد و بازده خروجی را 50 درصد افزایش داد. تست‌های با کش در تاریخ‌های 2026-10-17 و 2026-10-18 اجرا شدند و تست‌های بدون کش در تاریخ 2026-10-21.

لاگ سرور، نرخ اصابت (Hit Rate) را هر چند ثانیه یک بار گزارش می‌دهد:

کَش پیشوند در میانه‌ی اجرای پیشوندِ مشترک capture/gpu/out-l4/server-h2h-prefix-vllm.log
INFO 10-18 00:43:16 [loggers.py:320] Engine 000: Avg prompt throughput: 231.0 tokens/s, Avg generation throughput: 93.6 tokens/s, Running: 8 reqs, Waiting: 0 reqs, GPU KV cache usage: 77.2%, Prefix cache hit rate: 87.2%

87 درصد از توکن‌های پرامپت از کَش خوانده شدند.

کَش روشن در برابر کَش خاموشبا روشن بودن کَش پیشوند، زمان اولین توکن در تمام طول‌های مشترک روی L4 ما نزدیک 400 میلی‌ثانیه ماند.
با کَش روشن، اولین توکن در تمام طول‌های مشترک نزدیک 400 میلی‌ثانیه می‌ماند میانه‌ی زمان تا اولین توکن بر حسب طول پرامپت سیستم مشترک، روی NVIDIA L4 با Qwen3-8B، 8 کاربر، سه seed، مقیاس لگاریتمی. با کَش روشن بین 375 تا 488 میلی‌ثانیه می‌ماند. با کَش خاموش در 1,024 توکن به 1,213 میلی‌ثانیه و در 4,096 توکن به 13,353 میلی‌ثانیه می‌رسد؛ جایی که فرکانس پردازنده گرافیکی نیز کاهش یافت. 300 1k 3k 10k 0 1,024 2,048 3,072 4,096 پرامپت سیستم مشترک، توکن میانه‌ی TTFT، میلی‌ثانیه (لگاریتمی) 13,353 1,213 کَش پیشوند روشن، پیش‌فرض کَش پیشوند خاموش
مقیاس لگاریتمی را با دقت بخوانید: هر خط شبکه حدوداً سه برابر خط زیرین است. نوارها بازه‌ی سه اجرا را پوشش می‌دهند. از capture/gpu/summary/l4.json.

بخش مشترک را در ابتدا بیاورید

کش، پرامپت را از توکن اول و در قالب بلوک‌های 16 توکنی بررسی و تطبیق می‌دهد. این فرایند با رسیدن به اولین بلوک متفاوت متوقف می‌شود. بنابراین برای اصابت به کش، باید دقیقاً همان توکن‌ها با همان ترتیب در ابتدای پرامپت قرار بگیرند.

  1. بخش‌هایی را که هرگز تغییر نمی‌کنند اول بگذارید: پرامپت سیستم، تعریف ابزارها (Tool Definitions) و دستورالعمل‌های ثابت.
  2. بخش‌هایی را که به‌ندرت تغییر می‌کنند بعد از آن‌ها بیاورید، مثل اسناد مربوط به یک نشست (Session).
  3. بخش‌هایی را که در هر درخواست عوض می‌شوند در انتها قرار دهید: پرسش کاربر، زمان و شناسه‌ی درخواست (Request ID).

گذاشتن برچسب زمان یا شناسه نزدیک به ابتدای پرامپت، همان بلوک اول را دستخوش تغییر می‌کند و باعث می‌شود تمام بلوک‌های بعدی اصابت به کش را از دست بدهند (Miss). الگوی چت (chat template) خود را هم بازبینی کنید؛ بعضی الگوها تاریخ را داخل پرامپت سیستم می‌گذارند.

vLLM فقط بلوک‌های کامل را کش می‌کند. یک بخش مشترک 20 توکنی، فقط یک بلوک کش‌شده‌ی 16تایی می‌سازد و 4 توکن پایانی همیشه دوباره محاسبه می‌شوند.

یک اصابت به کَش پیشونددرخواست جدید بلوک‌های کَش‌شده را از ابتدای پرامپت خود مجدداً استفاده می‌کند و در اولین بلوک متفاوت متوقف می‌شود.
اصابت پیشوند، بلوک‌های کامل 16 توکنی را تا اولین تفاوت مجدداً استفاده می‌کند دو پرامپت در پرامپت سیستم مشترک هستند. هر بلوک کامل 16 توکنی هشی دریافت می‌کند که شامل هش بلوک پیشین آن است. پرامپت دوم هش سه بلوک اول را در مپ پیدا کرده و از همان بلوک‌ها استفاده مجدد می‌کند. بلوک چهارم آن متفاوت است، بنابراین زنجیره متوقف شده و بقیه محاسبه می‌شوند. درخواست A، قبلاً پاسخ داده شده درخواست B، دیرتر می‌رسد بلوک 1 h1 اصابت به کَش h1 بلوک 2 h2 اصابت به کَش h2 بلوک 3 h3 اصابت به کَش h3 بلوک 4 h4a محاسبه h4b بلوک 5 h5a محاسبه h5b اینجا متفاوت است، زنجیره متوقف شد هر هش 16 توکن خود و هش قبلی را پوشش می‌دهد، بنابراین h3 نماینده‌ی 48 توکن اول است. بخش مشترکِ 20 توکنی یک بلوک کَش‌شده می‌دهد و 4 توکن همیشه محاسبه می‌شوند. بخش مشترک را اول و با همان ترتیب قرار دهید تا زنجیره طولانی بماند.
ابتدا ردیف بالا و سپس ردیف پایین را بخوانید. بلوک‌های خط‌چین‌دار دوباره محاسبه می‌شوند. از سورس vLLM در v0.31.0.

جداسازی بار کاربران

دو کاربر با پیشوند پرامپت یکسان، از بلوک‌های کش‌شده‌ی مشترک استفاده می‌کنند. این فرایند اگرچه در منابع پردازشی صرفه‌جویی می‌کند، اما باعث می‌شود اختلاف زمان پاسخ‌دهی برای یک کاربر، محتوای ارسالی کاربر دیگر را فاش کند. برای تفکیک کامل کاربران از یکدیگر، همراه با هر درخواست فیلد cache_salt را بفرستید. درخواست‌هایی با saltهای متفاوت هیچ‌وقت در بلوک‌ها شریک نمی‌شوند. تطبیق‌دهنده‌ی LoRA (یا همان Adapter) هم جزئی از کلید بلوک است؛ در نتیجه دو تطبیق‌دهنده هیچ‌گاه بلوک مشترک نخواهند داشت.

بررسی و اثبات اصابت به کش

این دو شمارنده را از اندپوینت /metrics بخوانید:

curl -s localhost:8000/metrics | grep -E "^vllm:prefix_cache_(queries|hits)"

از تقسیم تعداد اصابت‌ها بر کل پرس‌وجوها، نرخ اصابت به دست می‌آید. برای آزمودن یک پرامپت، همان پرامپت طولانی را دو بار ارسال کنید و زمان تولید اولین توکن در بار دوم را با بار اول بسنجید.

اگر نرخ اصابت پایین است، علت آن تقریباً در تمام موارد چیدمان نادرست پرامپت است. پر شدن استخر حافظه دلیل دوم است؛ چون کش، بلوک‌های قدیمی را فقط تا زمانی نگه می‌دارد که درخواست دیگری حین اجرا به حافظه نیاز پیدا نکند.

منابع: capture/gpu/summary/l4.json (prefix.vllm, prefix.vllm-no-prefix-cache)، capture/gpu/out-l4/server-h2h-prefix-vllm.log، capture/gpu/out-l4/server-h2h-prefix-vllm-no-cache.log، مستندات vLLM در نگارش v0.31.0 (docs/design/prefix_caching.md)، سورس‌کد vLLM در نگارش v0.31.0 (vllm/v1/core/kv_cache_utils.py, vllm/config/cache.py).

ترجمه‌ی فارسی Make repeated prompts hit the prefix cache از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما