بخش 3.5 · کش KV

سیاست‌های تخلیه و HiCache

Eviction policies and HiCache

فهرست مطالب
  1. تخلیه دقیقاً چه چیزی را حذف می‌کند
  2. موضع ما: تا زمانی که دلیلی اندازه نگرفته‌اید، روی lru بمانید
  3. نتایج ارزیابی ما با یک رد چندنوبتی
  4. ‏HiCache: سه لایه برای یک درخت
  5. تنظیماتی که کارآمدی آن را تعیین می‌کنند
  6. ارزیابی‌های تیم‌های دیگر
  7. نتایج ارزیابی ما روی L4
  8. موضع ما: HiCache را برای نشست‌های طولانی اضافه کنید، آن هم مرحله‌به‌مرحله

وقتی استخر GPU پر می‌شود، SGLang به‌طور پیش‌فرض پیشوندی را که از همه دیرتر استفاده شده تخلیه می‌کند، و HiCache پیشوندهای تخلیه‌شده را در حافظه‌ی میزبان (host memory) و در صورت نیاز در یک لایه‌ی ذخیره‌سازی نگه می‌دارد.

یک ایجنت کدنویسی نشستی (session) با 8 نوبت گفت‌وگو دارد و تاریخچه‌ی آن از 25,000 توکن فراتر می‌رود. استخر GPU گنجایش 90 نشست این‌چنینی را دارد. با ورود کاربر نودویکم، SGLang برای باز کردن فضا ناچار است یکی از پیشوندهای کش‌شده را تخلیه کند. وقتی کاربر اول برمی‌گردد، تاریخچه‌اش پاک شده و سرور باید دوباره هر 25,000 توکن را پردازش کند.

پس از پایان این بخش، می‌توانید بر اساس نرخ اصابت (hit rate) اندازه‌گیری‌شده، سیاست تخلیه را انتخاب کنید. همچنین می‌توانید تصمیم بگیرید که کش سلسله‌مراتبی (hierarchical caching) چه زمانی ارزش هزینه‌اش را دارد و کدام تنظیمات آن را باید اول از همه تغییر داد.

تخلیه دقیقاً چه چیزی را حذف می‌کند

تخلیه فقط توکن‌های کش‌شده‌ای را حذف می‌کند که هیچ درخواستِ در حال اجرایی آن‌ها را قفل نکرده باشد؛ یعنی برگ‌های درخت مبنا (radix tree). این سازوکار هرگز KV یک درخواست در حال اجرا را حذف نمی‌کند؛ به این حالت پس‌گرفتن (retraction) می‌گویند و بخش 2.3 آن را پوشش می‌دهد. تخلیه از برگ‌هایی با کمترین امتیاز شروع می‌شود و به‌سمت ریشه بالا می‌رود.

گزینه‌ی --radix-eviction-policy این امتیاز را تعیین می‌کند {{code}}. حالت پیش‌فرض lru است.

سیاست اولویت اول تخلیه زمان مفید بودن
lru پیشوندی با قدیمی‌ترین زمان آخرین دسترسی بیشتر بارها، حالت پیش‌فرض
lfu پیشوندی با کمترین اصابت، سپس قدیمی‌ترین مجموعه‌ی داغی از پرامپت‌ها که تا ساعت‌ها ثابت می‌ماند
slru پیشوندهایی با کمتر از 2 اصابت، سپس قدیمی‌ترین مجموعه‌ی داغِ پایدار همراه با جریانی از پرامپت‌های یک‌بارمصرف
priority پیشوندهای متعلق به درخواست‌های با اولویت پایین‌تر ترافیک ترکیبی دارای اولویت‌بندی درخواست‌ها
tlru تاریخچه‌ای که نمی‌تواند زمان پیش‌پرکنی (prefill) نوبت بعدی را تغییر دهد ایجنت‌های چندنوبتی با هدف‌گذاری مشخص برای تاخیر دنباله (tail-latency)

LRU بهینه‌شده برای دم تاخیر (Tail-Optimized LRU یا tlru): سیاستی که فقط بخشی از گفت‌وگو را نگه می‌دارد که برای هدف تاخیر نوبت بعدی لازم است، و بقیه را اول تخلیه می‌کند. این روش برگرفته از مقاله‌ای است که در کد هم نام آن آمده است: arXiv 2510.15152. تیم SGLang کاهش 43.9 درصدی تاخیر صدک 99 (p99) بین توکن‌ها را روی DeepSeek-V4-Pro در همروندی 32 گزارش کرده است {{team 2026-10}}. این عدد از یادداشت‌های انتشار نسخه‌ی v0.5.21 آمده و ما بررسی مستقلی از آن پیدا نکردیم.

سیاست tlru بدون --radix-eviction-policy-config شروع به کار نمی‌کند. این پیکربندی نیازمند یک آستانه (threshold) بزرگ‌تر از next_prompt_estimate است. ما آن را با {"threshold": 512, "next_prompt_estimate": 256} اجرا کردیم.

موضع ما: تا زمانی که دلیلی اندازه نگرفته‌اید، روی lru بمانید

مستندات SGLang نیز همین توصیه را دارند: با lru شروع کنید و فقط بر اساس نرخ اصابتِ اندازه‌گیری‌شده آن را تغییر دهید {{docs}}. سیاست‌های مبتنی بر بسامد زمانی که الگوی تقاضا جابه‌جا می‌شود آسیب می‌زنند؛ چون پرامپت پرطرفدار دیروز در حافظه می‌ماند و پرامپت امروز باید بهای آن را بپردازد. تنها زمانی سیاست را عوض کنید که بتوانید الگوی کاری دقیقِ زیر پوشش سیاست جدید را نام ببرید، و نرخ اصابت را قبل و بعد از تغییر بسنجید.

مطالعه‌ای در سال 2026 روی ردهای محاسباتی محیط عملیاتی (production traces) متعلق به دو شرکت، این رویکرد پیش‌فرض را تایید می‌کند. در آن مطالعه 14 سیاست تخلیه بررسی شد و سیاست‌هایی که برای انواع دیگر کش ساخته شده بودند، برتری چندانی نسبت به LRU نداشتند. در این ردها، نشست‌های فعال نوبت‌های بعدی خود را با ریتمی منظم می‌فرستادند؛ در نتیجه، تازگی (recency) معیار بسیار خوبی برای پیش‌بینی استفاده‌ی مجدد بود.

این بررسی تنها در دو حالت محدود بهبود نشان داد: یکی تخلیه‌ی سریع پیشوندهایی که فقط یک بار استفاده می‌شوند، در شرایطی که چنین پرامپت‌هایی کش را پر کنند؛ و دیگری تخلیه‌ای که هزینه‌ی پردازش مجدد در صورت خطای کش (miss) را وزن‌دهی می‌کند. ما خودمان این نتایج را اندازه نگرفته‌ایم. در بین سیاست‌های SGLang، نزدیک‌ترین گزینه به حالت اول slru است.

نتایج ارزیابی ما با یک رد چندنوبتی

ما ردی از 24 نشست چت را با مدل Qwen/Qwen3-0.6B در تاریخ 2026-10-23 اجرا کردیم. هر نشست پرامپت سیستمی اختصاصی و 6 نوبت از سوالات ShareGPT را با پاسخ‌های 64 توکنی داشت. نشست‌ها با همروندی 8 نوبت می‌گرفتند و هر نوبت تمام تاریخچه را از نو می‌فرستاد. نرخ اصابت برابر است با تعداد توکن‌های پرامپت کش‌شده تقسیم بر کل توکن‌های پرامپت. این آزمون روی GPU دوم نود L4 ما انجام شد که صاحبش آن را به اشتراک گذاشته بود و قفل فرکانس (clock lock) نداشت. از آنجا که فرکانس تاثیری روی نرخ اصابت ندارد، به نرخ‌های اصابت توجه کنید نه زمان‌ها.

نرخ اصابت بر حسب اندازه استخر و سیاست، در کل ردگیری و در هر نوبت گفت‌وگو capture/gpu/out-l4/eviction-multiturn.txt
pool, policy                 whole trace   hit rate per turn 1 to 6                        median SM clock
8,192 tokens, lru            0.19, 0.19    0.11, 0.31, 0.58, 0.39, 0.016, 0.013            615 MHz
…
8,192 tokens, lfu            0.375         0.11, 0.31, 0.58, 0.53, 0.34, 0.25              1,140 MHz
8,192 tokens, slru           0.367         0.11, 0.31, 0.58, 0.53, 0.31, 0.26              960 MHz
16,384 tokens, lru           0.685         rises to 0.83 at turn 6                         810 MHz

چهار ردیف از خلاصه. اجرای بدون گراف‌های CUDA، اجرای LFU با 16,384 توکن، و استخر پیش‌فرض حذف شده‌اند.

  • استخر کوچک باعث دست‌وپا زدن شدید (thrashing) در LRU شد. در ظرفیت 8,192 توکن، چرخه‌ی 24 نشست بزرگ‌تر از استخر بود. LRU پیشوند هر نشست را درست قبل از نوبت بعدی‌اش تخلیه می‌کرد؛ طوری که نرخ اصابت در نوبت‌های 5 و 6 به حدود 1.5 درصد سقوط کرد.
  • LFU و SLRU فقط در همین شرایط کمک کردند. در همان استخر، این دو سیاست 25 تا 34 درصد را در نوبت‌های 5 و 6 حفظ کردند. در کل رد محاسباتی، نرخ اصابت آن‌ها حدود دو برابر LRU بود.
  • یک استخر بزرگ‌تر مشکل را برطرف کرد. با رساندن ظرفیت به 16,384 توکن و همچنین در استخر پیش‌فرض، تمام سیاست‌های اجراشده در طول کل رد به حدود 0.69 رسیدند.

بنابراین، سیاستی متفاوت فقط زمانی کمک می‌کند که استخر برای نشست‌های در حال بازگشت بیش از حد کوچک باشد. اول استخر را با گزینه‌ی --mem-fraction-static یا فعال‌سازی کش کلید-مقدار (KV cache) در فرمت FP8 بزرگ کنید، و سپس دوباره سیاست را بسنجید. در این اندازه‌ی استخر، سرور در چند اجرا کرش هم کرد. بخش 7.1 این نشانه را توضیح می‌دهد.

‏HiCache: سه لایه برای یک درخت

HiCache: کش سلسله‌مراتبی SGLang است که دامنه‌ی درخت مبنا را از حافظه‌ی GPU به حافظه‌ی میزبان و سپس یک لایه‌ی ذخیره‌سازی گسترش می‌دهد. این قابلیت با --enable-hierarchical-cache فعال می‌شود و به‌طور پیش‌فرض خاموش است {{code}}. این لایه‌ها در کد و مستندات نام‌گذاری شده‌اند:

  • لایه‌ی L1: استخر GPU از بخش 3.1.
  • لایه‌ی L2: استخری در حافظه‌ی پین‌شده‌ی میزبان (pinned host memory)، اختصاصی برای یک نمونه از سرور.
  • لایه‌ی L3: یک لایه‌ی ذخیره‌سازی اختیاری و اشتراکی میان چند نمونه، که با --hicache-storage-backend تنظیم می‌شود. گزینه‌ها شامل file، mooncake، hf3fs و nixl است.

درخت ثبت می‌کند که KV هر گره در کدام لایه قرار دارد. در صورت تطابق، طول اصابت در GPU و طول اصابت در هاست برگردانده می‌شود. سپس SGLang بخش موجود در هاست را در جایگاه‌های (slots) تازه در GPU بارگذاری می‌کند، آن هم دقیقاً یک لایه جلوتر از محاسباتی که به آن نیاز دارد {{docs}}.

گزینه‌ی --hicache-write-policy مشخص می‌کند چه زمانی یک گره در حافظه‌ی میزبان کپی شود. حالت پیش‌فرض write_through است. کد آستانه‌ی اصابت را برای write_through برابر 1 و برای write_through_selective برابر 2 قرار می‌دهد {{code}}. بنابراین write_through پیشوند را در همان اصابت اول کپی می‌کند، اما write_through_selective منتظر اصابت دوم می‌ماند. حالت write_back گره را فقط زمانی کپی می‌کند که GPU آن را تخلیه کرده باشد.

عبور یک پیشوند از سه لایه HiCacheدر حالت write_through، پیشوند در نخستین اصابت یک کپی در میزبان می‌گیرد، بنابراین اخراج از GPU دیگر باعث پیش‌پرکنی کامل نمی‌شود.
عبور یک پیشوند از سه لایه HiCache سه لایه از چپ به راست: L1 استخر KV روی GPU است، L2 حافظه پین‌شده میزبان و اختصاصی برای نمونه است، و L3 یک بک‌اند ذخیره‌سازی مانند file، mooncake، hf3fs یا nixl است. در write_through، گره در نخستین اصابت به L2 کپی می‌شود و write_through_selective تا دومین اصابت صبر می‌کند. اخراج از L1، کپی میزبان را باقی می‌گذارد. تطابق بعدی، بخش میزبان را یک لایه جلوتر از محاسبات، درون جایگاه‌های جدید GPU بارگذاری می‌کند. پیش‌واکشی از حافظه ذخیره‌سازی زمانی که اصابت L3 زیر 256 توکن باشد نادیده گرفته می‌شود. L1 · استخر GPU حافظه دستگاه درخواست‌ها و کش L2 · میزبان pinned memory فقط یک نمونه L3 · ذخیره‌سازی اشتراکی بین سرورها فایل، mooncake زمان ایجاد کپی پیشوند در میزبان write_through (default) در نخستین اصابت · آستانه 1 write_through_selective در دومین اصابت · آستانه 2 write_back تنها هنگام اخراج از L1 پیش‌واکشی فضای ذخیره در v0.5.22 صرف‌نظر زیر 256 توکن منطبق · توقف پس از 1.0 ثانیه + 0.25 ثانیه به ازای هر 1,024 توکن کپی پشتیبان واکشی بارگذاری
برای نوشتن از چپ به راست و برای بارگذاری مجدد از راست به چپ بخوانید. آستانه‌ها و پیش‌فرض‌ها از UnifiedRadixCache در v0.5.22.

تنظیماتی که کارآمدی آن را تعیین می‌کنند

پیش‌واکشی (prefetch) لایه‌ی L3 قواعد خاص خود را دارد. اگر اصابت در لایه‌ی ذخیره‌سازی کمتر از 256 توکن باشد، SGLang از پیش‌واکشی صرف‌نظر می‌کند {{code}}. سیاست پیش‌فرض پیش‌واکشی timeout است که با گذشت زمان مشخصی (که متناسب با طول پرامپت افزایش می‌یابد) دیگر منتظر لایه‌ی ذخیره‌سازی نمی‌ماند.

مستندات و کد بر سر این مقدار زمان توافق ندارند. مستندات مقدار پایه‌ی 2 ثانیه، 0.1 ثانیه به‌ازای هر 1,024 توکن و سقف 30 ثانیه را قید کرده‌اند {{docs}}. اما کد در نسخه‌ی v0.5.22 از مقدار پایه‌ی 1.0 ثانیه و 0.25 ثانیه به‌ازای هر 1,024 توکن استفاده می‌کند {{code}}. ما در کد کش هیچ سقفی پیدا نکردیم. حق با کد است. بنابراین یک پرامپت 100,000 توکنی پیش از آنکه SGLang دوباره آن را محاسبه کند، می‌تواند حدود 25 ثانیه منتظر لایه‌ی ذخیره‌سازی بماند.

اندازه‌ی استخر هاست از --hicache-ratio یا --hicache-size تامین می‌شود. بدون این دو، SGLang تا سقف --hicache-host-memory-fraction حافظه می‌گیرد که پیش‌فرض آن 0.8 از حافظه‌ی دردسترس هاست است {{code}}.

ارزیابی‌های تیم‌های دیگر

ما امکان اجرای HiCache را روی مک تصویربرداری نداشتیم و شواهد میدانی اندک است. بخش بعدی تست خود ما روی یک L4 را آورده است. آماری که پیدا کردیم از تیم SGLang و شرکایش نقل شده است:

  • تیم RBG در SGLang همراه با تیم Mooncake یک بنچمارک چندنوبتی روی Kubernetes اجرا کردند {{field Alibaba Cloud 2026-03}}. میانگین زمان تا اولین توکن فقط با حافظه‌ی GPU برابر با 5.91 ثانیه بود. با اضافه شدن لایه‌ی L2 این رقم به 3.77 ثانیه کاهش یافت و لایه‌ی Mooncake L3 آن را به 2.58 ثانیه رساند.
  • پست وبلاگی HiCache در SGLang از Novita نقل می‌کند {{team 2025-09}}. شرکت Novita کاهشی 56 درصدی در میانگین زمان تا اولین توکن و افزایش نرخ اصابت از 40 به 80 درصد را گزارش کرده است.

گزارش‌های خرابی مستندات بهتری نسبت به موفقیت‌ها دارند. در ایشوی 35129#، بارگذاری مجددی که جای خالی پیدا نمی‌کرد، پیشوندهای GPU متعلق به بقیه‌ی نشست‌ها را بیرون می‌انداخت؛ به‌طوری‌که در برابر 376 بارگذاری تکمیل‌شده، 250,000 فراخوانی تخلیه ثبت شد {{issue #35129}}. ایشوی 30760# نشان می‌دهد که یک رتبه‌ی (rank) موازی‌سازی تنسور در بررسی پیش‌واکشی برای همیشه معلق مانده، در حالی که بقیه‌ی رتبه‌ها به کارشان ادامه داده‌اند {{issue #30760}}. ایشوی 42465# هم به هجوم ناگهانی پرامپت‌های 540,000 توکنی اشاره می‌کند که با روشن بودن HiCache تمام رتبه‌ها را متوقف می‌کنند، اما بدون آن اجرا می‌شوند {{issue #42465}}.

نتایج ارزیابی ما روی L4

ما لایه‌ی L2 را روی یک L4 با ظرفیت 24 گیگابایت با مدل Qwen/Qwen3-8B آزمایش کردیم. هر گروه از 8 درخواست، یک پرامپت سیستمی مشترک 2,048 توکنی داشت و یک سوال 64 توکنی به آن اضافه می‌کرد. ما تعداد گروه‌ها را از 4 تا 64 تغییر دادیم، سقف 8 درخواست همروند را حفظ کردیم و برای هر نقطه سه بار با سیدهای (seeds) مختلف اجرا گرفتیم. سرور دوم با آرگومان‌های --enable-hierarchical-cache --hicache-ratio 4 اجرا شد.

استخر GPU ظرفیت 24,094 توکن داشت؛ یعنی حدود 11 پرامپت سیستمی. بنابراین در 16 گروه به بعد، سرورِ پیش‌فرض ناچار بود پرامپت‌هایی را که دوباره لازم می‌شدند تخلیه کند.

لایه میزبان روی L4 capture/gpu/out-l4/server-working-set-hicache.log
[2026-10-17 17:35:15] Allocating kv hierarchical KV host pool: 96377 tokens, 14.21 GB host memory.
[2026-10-17 18:19:03] Prefill batch, #new-seq: 4, #new-token: 4096, #cached-token: 2196, token usage: 0.65, #running-req: 2, #queue-req: 0, #pending-token: 5234, cuda graph: True, input throughput (token/s): 1431.87
[2026-10-17 18:19:03] Prefill batch, #new-seq: 3, #new-token: 953, #cached-token: 4281, token usage: 0.65, #running-req: 5, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1251.76

استخر میزبان در هنگام راه‌اندازی، سپس دو خط پیش‌پرکنی از اجرای 64 گروهی.

همان بار کاری فقط با استخر GPU capture/gpu/out-l4/server-working-set-default.log
[2026-10-17 17:34:02] Prefill batch, #new-seq: 3, #new-token: 4096, #cached-token: 0, token usage: 0.65, #running-req: 5, #queue-req: 0, #pending-token: 1138, cuda graph: True, input throughput (token/s): 1573.58
[2026-10-17 17:34:03] Prefill batch, #new-seq: 1, #new-token: 1138, #cached-token: 0, token usage: 0.65, #running-req: 7, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1347.58

دو خط پیش‌پرکنی از اجرای 64 گروهیِ سرور پیش‌فرض.

HiCache پرامپت‌هایی را نگه داشت که استخر GPU اخراج کرده بودبا 32 پرامپت سیستم متمایز روی L4، های‌کش میانه TTFT را از 5,449 به 817 میلی‌ثانیه کاهش داد.
HiCache پرامپت‌هایی را نگه داشت که استخر GPU اخراج کرده بود میانه زمان تا اولین توکن در برابر تعداد پرامپت‌های سیستم متمایز 2,048 توکنی روی یک NVIDIA L4 با Qwen3-8B، سه seed به ازای هر نقطه، در مقیاس لگاریتمی. استخر GPU گنجایش 24,094 توکن دارد. در 4 پرامپت، هر دو سرور حدود 360 میلی‌ثانیه طول می‌کشند. در 16 و 32 پرامپت، حالت پیش‌فرض 3,259 و 5,449 میلی‌ثانیه و HiCache زمان‌های 553 و 817 میلی‌ثانیه را ثبت می‌کنند. در 64 پرامپت، یعنی بیشتر از مجموع ظرفیت استخرهای GPU و میزبان، حالت پیش‌فرض 6,821 میلی‌ثانیه و HiCache زمان 3,610 میلی‌ثانیه طول می‌کشد. 100 300 1k 3k 10k 4 8 16 32 64 پرامپت‌های سیستم متمایز با 2,048 توکن میانه TTFT، میلی‌ثانیه (مقیاس لگاریتمی) فقط استخر GPU ‏HiCache، استخر میزبان با 96,377 توکن
میانه TTFT در برابر تعداد پرامپت‌های سیستم متمایز، سه seed به ازای هر نقطه، در مقیاس لگاریتمی. رنگ صورتی فقط استخر GPU است و سبز لایه میزبان را اضافه می‌کند. برگرفته از capture/gpu/summary/l4.json.
گروه‌ها توکن‌های پرامپت برای نگهداری میانه‌ی TTFT، فقط GPU / با HiCache توکن خروجی بر ثانیه، فقط GPU / با HiCache میانه‌ی کلاک SM، فقط GPU / با HiCache
4 8,192 360 / 361 میلی‌ثانیه 82.39 / 81.64 1,455 / 1,440 مگاهرتز
16 32,768 3,259 / 553 میلی‌ثانیه 37.95 / 74.75 788 / 1,223 مگاهرتز
32 65,536 5,449 / 817 میلی‌ثانیه 25.72 / 69.29 465 / 765 مگاهرتز
64 131,072 6,821 / 3,610 میلی‌ثانیه 21.37 / 35.93 450 / 450 مگاهرتز

یافته‌های ما نشان داد در 4 گروه، یعنی زمانی که تمام پرامپت‌ها در GPU جا می‌شدند، هیچ هزینه‌ای تحمیل نشد. در 32 گروه، لایه‌ی هاست میانه‌ی زمان انتظار را 6.7 برابر کاهش داد و نرخ پردازش (throughput) را به 2.7 برابر رساند. هر دو سرور در این نقطه بسیار پایین‌تر از کف فرکانس 1,000 مگاهرتز ما کار می‌کردند. فرکانس سرورِ دارای HiCache حدود 1.65 برابر سرور پیش‌فرض بود؛ بنابراین این بهبود 6.7 برابری، ترکیبی از اثر کش و اختلاف فرکانس است.

در 64 گروه، پرامپت‌ها به فضایی بیشتر از مجموع ظرفیت استخر GPU و هاست (حدود 120,000 توکن) نیاز داشتند. HiCache همچنان زمان انتظار را 1.9 برابر کم کرد، اما دیگر نزدیک به نتیجه‌ی 4 گروه نبود.

کارت گرافیک در این اجراها داغ شده بود. از 16 گروه به بالا، در هر دو سرور بین 52 تا 95 درصد از نمونه‌ها پرچم حرارتی (thermal flag) داشتند. سرور پیش‌فرض محاسبات مجدد بیشتری انجام می‌داد و داغ‌تر کار می‌کرد؛ در نتیجه بخشی از افت آن به فرکانس مربوط است. خطوط اصابت کش در بالا به فرکانس وابسته نیستند و شواهد محکم‌تری به حساب می‌آیند.

سیستم GB10 همین بار کاری را به‌عنوان سیستم شاهد (control) روی مدلی دیگر، یعنی Qwen/Qwen3-30B-A3B-Instruct-2507، و بدون HiCache اجرا کرد. ما لایه‌ی هاست را در آنجا خاموش گذاشتیم؛ زیرا در GB10 حافظه‌ی CPU و GPU یکی است و کپی گرفتن روی هاست در عمل فضا را از همان حافظه‌ای می‌گرفت که استخر در آن قرار داشت.

استخر GB10 و دو خط پیش‌پرکنی از اجرای 64 گروهی capture/gpu/out-gb10/server-working-set-default.log
[2026-10-17 19:33:31] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 260013, K size: 11.90 GB, V size: 11.90 GB
[2026-10-17 19:52:36] Prefill batch, #new-seq: 1, #new-token: 67, #cached-token: 2196, token usage: 0.01, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 29.36
[2026-10-17 19:52:36] Prefill batch, #new-seq: 7, #new-token: 476, #cached-token: 15146, token usage: 0.06, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1605.53

استخر در زمان راه‌اندازی، سپس دو خط پیش‌پرکنی پیاپی. خطوط طولانی کوتاه شده‌اند.

استخر آن 260,013 توکن ظرفیت داشت؛ یعنی فضا برای تمام 64 پرامپت سیستمی به‌طور هم‌زمان. خط دوم پیش‌پرکنی 15,146 توکن را برای 7 درخواست جدید در کش پیدا کرد. میانه‌ی TTFT از 4 گروه تا 64 گروه بین 448 تا 460 میلی‌ثانیه باقی ماند. چیزی تخلیه نشد، در نتیجه لایه‌ی هاست هم چیزی برای بازگرداندن نداشت.

آزمون ما به یک قاعده اشاره دارد: حجم مجموعه‌ی فعال (working set). پیشوندهای متمایزی را که کاربران طی چند دقیقه دوباره به آن‌ها برمی‌گردند جمع بزنید. در آزمون ما، لایه‌ی هاست تنها زمانی صرفه داشت که این مجموع، بزرگ‌تر از استخر GPU و کوچک‌تر از مجموع استخرهای GPU و هاست بود. وقتی این حجم از استخر GPU کمتر بود، لایه‌ی هاست هیچ فایده‌ای نداشت.

موضع ما: HiCache را برای نشست‌های طولانی اضافه کنید، آن هم مرحله‌به‌مرحله

هزینه‌ی استفاده از HiCache زمانی جبران می‌شود که طول عمر نشست‌ها از ظرفیت استخر GPU بیشتر باشد؛ مثل چت‌های چندنوبتی، ایجنت‌های کدنویسی و پرسش‌های مکرر از اسناد طولانی. برای پرامپت‌های کوتاه و یک‌بارمصرف، این روش فقط کپی‌ها و بارگذاری‌های بی‌فایده ایجاد می‌کند. این لایه‌ها را دقیقاً به همین ترتیب اضافه کنید و در هر مرحله نرخ اصابت و صدک 99 زمان تا اولین توکن را بسنجید:

  1. ابتدا پرامپت‌ها را از نظر پیشوند پایدار کنید (prefix-stable)، مطابق بخش 3.4.
  2. فقط لایه‌ی L2 را با همان سیاست پیش‌فرض write_through فعال کنید.
  3. اگر کپی‌های هاست پهنای باند PCIe را بیش از حد اشغال می‌کنند، به write_through_selective سوییچ کنید.
  4. اگر چند نمونه باید پیشوندها را به اشتراک بگذارند، یک لایه‌ی ذخیره‌سازی L3 اضافه کنید.
  5. سیاست تخلیه را در آخرین مرحله تغییر دهید.

منابع: python/sglang/srt/mem_cache/evict_policy.py و python/sglang/srt/mem_cache/unified_radix_cache.py (برای write_through_threshold و prefetch_timeout_base) و python/sglang/srt/mem_cache/hybrid_cache/hybrid_pool_assembler.py (برای prefetch_threshold) و python/sglang/srt/arg_groups/fields/memory.py در نسخه‌ی v0.5.22؛ docs/docs/advanced_features/hicache_design.mdx و radix_eviction_policy.mdx در نسخه‌ی v0.5.22؛ یادداشت‌های انتشار نسخه‌ی v0.5.21؛ مقاله‌ی Liu, Yu, and Yang با عنوان When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse در arXiv 2609.28870 (2026-09)؛ پست HiCache تیم SGLang در تاریخ 2025-09-10؛ پست تیم RBG و Mooncake در وبلاگ Alibaba Cloud در تاریخ 2026-03-10؛ ایشوهای 35129#، 30760# و 42465#؛ مقاله‌ی arXiv 2510.15152؛ capture/gpu/out-l4/server-working-set-hicache.log و capture/gpu/out-l4/server-working-set-default.log و capture/gpu/summary/l4.json و capture/gpu/summary/gb10.json و capture/gpu/out-gb10/server-working-set-default.log و capture/gpu/out-l4/eviction-multiturn.txt و capture/gpu/out-l4/small-pool-crash.txt.

ترجمه‌ی فارسی Eviction policies and HiCache از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما