وقتی استخر GPU پر میشود، SGLang بهطور پیشفرض پیشوندی را که از همه دیرتر استفاده شده تخلیه میکند، و HiCache پیشوندهای تخلیهشده را در حافظهی میزبان (host memory) و در صورت نیاز در یک لایهی ذخیرهسازی نگه میدارد.
یک ایجنت کدنویسی نشستی (session) با 8 نوبت گفتوگو دارد و تاریخچهی آن از 25,000 توکن فراتر میرود. استخر GPU گنجایش 90 نشست اینچنینی را دارد. با ورود کاربر نودویکم، SGLang برای باز کردن فضا ناچار است یکی از پیشوندهای کششده را تخلیه کند. وقتی کاربر اول برمیگردد، تاریخچهاش پاک شده و سرور باید دوباره هر 25,000 توکن را پردازش کند.
پس از پایان این بخش، میتوانید بر اساس نرخ اصابت (hit rate) اندازهگیریشده، سیاست تخلیه را انتخاب کنید. همچنین میتوانید تصمیم بگیرید که کش سلسلهمراتبی (hierarchical caching) چه زمانی ارزش هزینهاش را دارد و کدام تنظیمات آن را باید اول از همه تغییر داد.
تخلیه دقیقاً چه چیزی را حذف میکند
تخلیه فقط توکنهای کششدهای را حذف میکند که هیچ درخواستِ در حال اجرایی آنها را قفل نکرده باشد؛ یعنی برگهای درخت مبنا (radix tree). این سازوکار هرگز KV یک درخواست در حال اجرا را حذف نمیکند؛ به این حالت پسگرفتن (retraction) میگویند و بخش 2.3 آن را پوشش میدهد. تخلیه از برگهایی با کمترین امتیاز شروع میشود و بهسمت ریشه بالا میرود.
گزینهی --radix-eviction-policy این امتیاز را تعیین میکند {{code}}. حالت پیشفرض lru است.
| سیاست | اولویت اول تخلیه | زمان مفید بودن |
|---|---|---|
lru |
پیشوندی با قدیمیترین زمان آخرین دسترسی | بیشتر بارها، حالت پیشفرض |
lfu |
پیشوندی با کمترین اصابت، سپس قدیمیترین | مجموعهی داغی از پرامپتها که تا ساعتها ثابت میماند |
slru |
پیشوندهایی با کمتر از 2 اصابت، سپس قدیمیترین | مجموعهی داغِ پایدار همراه با جریانی از پرامپتهای یکبارمصرف |
priority |
پیشوندهای متعلق به درخواستهای با اولویت پایینتر | ترافیک ترکیبی دارای اولویتبندی درخواستها |
tlru |
تاریخچهای که نمیتواند زمان پیشپرکنی (prefill) نوبت بعدی را تغییر دهد | ایجنتهای چندنوبتی با هدفگذاری مشخص برای تاخیر دنباله (tail-latency) |
LRU بهینهشده برای دم تاخیر (Tail-Optimized LRU یا tlru): سیاستی که فقط بخشی از گفتوگو را نگه میدارد که برای هدف تاخیر نوبت بعدی لازم است، و بقیه را اول تخلیه میکند. این روش برگرفته از مقالهای است که در کد هم نام آن آمده است: arXiv 2510.15152. تیم SGLang کاهش 43.9 درصدی تاخیر صدک 99 (p99) بین توکنها را روی DeepSeek-V4-Pro در همروندی 32 گزارش کرده است {{team 2026-10}}. این عدد از یادداشتهای انتشار نسخهی v0.5.21 آمده و ما بررسی مستقلی از آن پیدا نکردیم.
سیاست tlru بدون --radix-eviction-policy-config شروع به کار نمیکند. این پیکربندی نیازمند یک آستانه (threshold) بزرگتر از next_prompt_estimate است. ما آن را با {"threshold": 512, "next_prompt_estimate": 256} اجرا کردیم.
موضع ما: تا زمانی که دلیلی اندازه نگرفتهاید، روی lru بمانید
مستندات SGLang نیز همین توصیه را دارند: با lru شروع کنید و فقط بر اساس نرخ اصابتِ اندازهگیریشده آن را تغییر دهید {{docs}}. سیاستهای مبتنی بر بسامد زمانی که الگوی تقاضا جابهجا میشود آسیب میزنند؛ چون پرامپت پرطرفدار دیروز در حافظه میماند و پرامپت امروز باید بهای آن را بپردازد. تنها زمانی سیاست را عوض کنید که بتوانید الگوی کاری دقیقِ زیر پوشش سیاست جدید را نام ببرید، و نرخ اصابت را قبل و بعد از تغییر بسنجید.
مطالعهای در سال 2026 روی ردهای محاسباتی محیط عملیاتی (production traces) متعلق به دو شرکت، این رویکرد پیشفرض را تایید میکند. در آن مطالعه 14 سیاست تخلیه بررسی شد و سیاستهایی که برای انواع دیگر کش ساخته شده بودند، برتری چندانی نسبت به LRU نداشتند. در این ردها، نشستهای فعال نوبتهای بعدی خود را با ریتمی منظم میفرستادند؛ در نتیجه، تازگی (recency) معیار بسیار خوبی برای پیشبینی استفادهی مجدد بود.
این بررسی تنها در دو حالت محدود بهبود نشان داد: یکی تخلیهی سریع پیشوندهایی که فقط یک بار استفاده میشوند، در شرایطی که چنین پرامپتهایی کش را پر کنند؛ و دیگری تخلیهای که هزینهی پردازش مجدد در صورت خطای کش (miss) را وزندهی میکند. ما خودمان این نتایج را اندازه نگرفتهایم. در بین سیاستهای SGLang، نزدیکترین گزینه به حالت اول slru است.
نتایج ارزیابی ما با یک رد چندنوبتی
ما ردی از 24 نشست چت را با مدل Qwen/Qwen3-0.6B در تاریخ 2026-10-23 اجرا کردیم. هر نشست پرامپت سیستمی اختصاصی و 6 نوبت از سوالات ShareGPT را با پاسخهای 64 توکنی داشت. نشستها با همروندی 8 نوبت میگرفتند و هر نوبت تمام تاریخچه را از نو میفرستاد. نرخ اصابت برابر است با تعداد توکنهای پرامپت کششده تقسیم بر کل توکنهای پرامپت. این آزمون روی GPU دوم نود L4 ما انجام شد که صاحبش آن را به اشتراک گذاشته بود و قفل فرکانس (clock lock) نداشت. از آنجا که فرکانس تاثیری روی نرخ اصابت ندارد، به نرخهای اصابت توجه کنید نه زمانها.
pool, policy whole trace hit rate per turn 1 to 6 median SM clock
8,192 tokens, lru 0.19, 0.19 0.11, 0.31, 0.58, 0.39, 0.016, 0.013 615 MHz
…
8,192 tokens, lfu 0.375 0.11, 0.31, 0.58, 0.53, 0.34, 0.25 1,140 MHz
8,192 tokens, slru 0.367 0.11, 0.31, 0.58, 0.53, 0.31, 0.26 960 MHz
16,384 tokens, lru 0.685 rises to 0.83 at turn 6 810 MHzچهار ردیف از خلاصه. اجرای بدون گرافهای CUDA، اجرای LFU با 16,384 توکن، و استخر پیشفرض حذف شدهاند.
- استخر کوچک باعث دستوپا زدن شدید (thrashing) در LRU شد. در ظرفیت 8,192 توکن، چرخهی 24 نشست بزرگتر از استخر بود. LRU پیشوند هر نشست را درست قبل از نوبت بعدیاش تخلیه میکرد؛ طوری که نرخ اصابت در نوبتهای 5 و 6 به حدود 1.5 درصد سقوط کرد.
- LFU و SLRU فقط در همین شرایط کمک کردند. در همان استخر، این دو سیاست 25 تا 34 درصد را در نوبتهای 5 و 6 حفظ کردند. در کل رد محاسباتی، نرخ اصابت آنها حدود دو برابر LRU بود.
- یک استخر بزرگتر مشکل را برطرف کرد. با رساندن ظرفیت به 16,384 توکن و همچنین در استخر پیشفرض، تمام سیاستهای اجراشده در طول کل رد به حدود 0.69 رسیدند.
بنابراین، سیاستی متفاوت فقط زمانی کمک میکند که استخر برای نشستهای در حال بازگشت بیش از حد کوچک باشد. اول استخر را با گزینهی --mem-fraction-static یا فعالسازی کش کلید-مقدار (KV cache) در فرمت FP8 بزرگ کنید، و سپس دوباره سیاست را بسنجید. در این اندازهی استخر، سرور در چند اجرا کرش هم کرد. بخش 7.1 این نشانه را توضیح میدهد.
HiCache: سه لایه برای یک درخت
HiCache: کش سلسلهمراتبی SGLang است که دامنهی درخت مبنا را از حافظهی GPU به حافظهی میزبان و سپس یک لایهی ذخیرهسازی گسترش میدهد. این قابلیت با --enable-hierarchical-cache فعال میشود و بهطور پیشفرض خاموش است {{code}}. این لایهها در کد و مستندات نامگذاری شدهاند:
- لایهی L1: استخر GPU از بخش 3.1.
- لایهی L2: استخری در حافظهی پینشدهی میزبان (pinned host memory)، اختصاصی برای یک نمونه از سرور.
- لایهی L3: یک لایهی ذخیرهسازی اختیاری و اشتراکی میان چند نمونه، که با
--hicache-storage-backendتنظیم میشود. گزینهها شاملfile،mooncake،hf3fsوnixlاست.
درخت ثبت میکند که KV هر گره در کدام لایه قرار دارد. در صورت تطابق، طول اصابت در GPU و طول اصابت در هاست برگردانده میشود. سپس SGLang بخش موجود در هاست را در جایگاههای (slots) تازه در GPU بارگذاری میکند، آن هم دقیقاً یک لایه جلوتر از محاسباتی که به آن نیاز دارد {{docs}}.
گزینهی --hicache-write-policy مشخص میکند چه زمانی یک گره در حافظهی میزبان کپی شود. حالت پیشفرض write_through است. کد آستانهی اصابت را برای write_through برابر 1 و برای write_through_selective برابر 2 قرار میدهد {{code}}. بنابراین write_through پیشوند را در همان اصابت اول کپی میکند، اما write_through_selective منتظر اصابت دوم میماند. حالت write_back گره را فقط زمانی کپی میکند که GPU آن را تخلیه کرده باشد.
تنظیماتی که کارآمدی آن را تعیین میکنند
پیشواکشی (prefetch) لایهی L3 قواعد خاص خود را دارد. اگر اصابت در لایهی ذخیرهسازی کمتر از 256 توکن باشد، SGLang از پیشواکشی صرفنظر میکند {{code}}. سیاست پیشفرض پیشواکشی timeout است که با گذشت زمان مشخصی (که متناسب با طول پرامپت افزایش مییابد) دیگر منتظر لایهی ذخیرهسازی نمیماند.
مستندات و کد بر سر این مقدار زمان توافق ندارند. مستندات مقدار پایهی 2 ثانیه، 0.1 ثانیه بهازای هر 1,024 توکن و سقف 30 ثانیه را قید کردهاند {{docs}}. اما کد در نسخهی v0.5.22 از مقدار پایهی 1.0 ثانیه و 0.25 ثانیه بهازای هر 1,024 توکن استفاده میکند {{code}}. ما در کد کش هیچ سقفی پیدا نکردیم. حق با کد است. بنابراین یک پرامپت 100,000 توکنی پیش از آنکه SGLang دوباره آن را محاسبه کند، میتواند حدود 25 ثانیه منتظر لایهی ذخیرهسازی بماند.
اندازهی استخر هاست از --hicache-ratio یا --hicache-size تامین میشود. بدون این دو، SGLang تا سقف --hicache-host-memory-fraction حافظه میگیرد که پیشفرض آن 0.8 از حافظهی دردسترس هاست است {{code}}.
ارزیابیهای تیمهای دیگر
ما امکان اجرای HiCache را روی مک تصویربرداری نداشتیم و شواهد میدانی اندک است. بخش بعدی تست خود ما روی یک L4 را آورده است. آماری که پیدا کردیم از تیم SGLang و شرکایش نقل شده است:
- تیم RBG در SGLang همراه با تیم Mooncake یک بنچمارک چندنوبتی روی Kubernetes اجرا کردند {{field Alibaba Cloud 2026-03}}. میانگین زمان تا اولین توکن فقط با حافظهی GPU برابر با 5.91 ثانیه بود. با اضافه شدن لایهی L2 این رقم به 3.77 ثانیه کاهش یافت و لایهی Mooncake L3 آن را به 2.58 ثانیه رساند.
- پست وبلاگی HiCache در SGLang از Novita نقل میکند {{team 2025-09}}. شرکت Novita کاهشی 56 درصدی در میانگین زمان تا اولین توکن و افزایش نرخ اصابت از 40 به 80 درصد را گزارش کرده است.
گزارشهای خرابی مستندات بهتری نسبت به موفقیتها دارند. در ایشوی 35129#، بارگذاری مجددی که جای خالی پیدا نمیکرد، پیشوندهای GPU متعلق به بقیهی نشستها را بیرون میانداخت؛ بهطوریکه در برابر 376 بارگذاری تکمیلشده، 250,000 فراخوانی تخلیه ثبت شد {{issue #35129}}. ایشوی 30760# نشان میدهد که یک رتبهی (rank) موازیسازی تنسور در بررسی پیشواکشی برای همیشه معلق مانده، در حالی که بقیهی رتبهها به کارشان ادامه دادهاند {{issue #30760}}. ایشوی 42465# هم به هجوم ناگهانی پرامپتهای 540,000 توکنی اشاره میکند که با روشن بودن HiCache تمام رتبهها را متوقف میکنند، اما بدون آن اجرا میشوند {{issue #42465}}.
نتایج ارزیابی ما روی L4
ما لایهی L2 را روی یک L4 با ظرفیت 24 گیگابایت با مدل Qwen/Qwen3-8B آزمایش کردیم. هر گروه از 8 درخواست، یک پرامپت سیستمی مشترک 2,048 توکنی داشت و یک سوال 64 توکنی به آن اضافه میکرد. ما تعداد گروهها را از 4 تا 64 تغییر دادیم، سقف 8 درخواست همروند را حفظ کردیم و برای هر نقطه سه بار با سیدهای (seeds) مختلف اجرا گرفتیم. سرور دوم با آرگومانهای --enable-hierarchical-cache --hicache-ratio 4 اجرا شد.
استخر GPU ظرفیت 24,094 توکن داشت؛ یعنی حدود 11 پرامپت سیستمی. بنابراین در 16 گروه به بعد، سرورِ پیشفرض ناچار بود پرامپتهایی را که دوباره لازم میشدند تخلیه کند.
[2026-10-17 17:35:15] Allocating kv hierarchical KV host pool: 96377 tokens, 14.21 GB host memory.
[2026-10-17 18:19:03] Prefill batch, #new-seq: 4, #new-token: 4096, #cached-token: 2196, token usage: 0.65, #running-req: 2, #queue-req: 0, #pending-token: 5234, cuda graph: True, input throughput (token/s): 1431.87
[2026-10-17 18:19:03] Prefill batch, #new-seq: 3, #new-token: 953, #cached-token: 4281, token usage: 0.65, #running-req: 5, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1251.76استخر میزبان در هنگام راهاندازی، سپس دو خط پیشپرکنی از اجرای 64 گروهی.
[2026-10-17 17:34:02] Prefill batch, #new-seq: 3, #new-token: 4096, #cached-token: 0, token usage: 0.65, #running-req: 5, #queue-req: 0, #pending-token: 1138, cuda graph: True, input throughput (token/s): 1573.58
[2026-10-17 17:34:03] Prefill batch, #new-seq: 1, #new-token: 1138, #cached-token: 0, token usage: 0.65, #running-req: 7, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1347.58دو خط پیشپرکنی از اجرای 64 گروهیِ سرور پیشفرض.
| گروهها | توکنهای پرامپت برای نگهداری | میانهی TTFT، فقط GPU / با HiCache | توکن خروجی بر ثانیه، فقط GPU / با HiCache | میانهی کلاک SM، فقط GPU / با HiCache |
|---|---|---|---|---|
| 4 | 8,192 | 360 / 361 میلیثانیه | 82.39 / 81.64 | 1,455 / 1,440 مگاهرتز |
| 16 | 32,768 | 3,259 / 553 میلیثانیه | 37.95 / 74.75 | 788 / 1,223 مگاهرتز |
| 32 | 65,536 | 5,449 / 817 میلیثانیه | 25.72 / 69.29 | 465 / 765 مگاهرتز |
| 64 | 131,072 | 6,821 / 3,610 میلیثانیه | 21.37 / 35.93 | 450 / 450 مگاهرتز |
یافتههای ما نشان داد در 4 گروه، یعنی زمانی که تمام پرامپتها در GPU جا میشدند، هیچ هزینهای تحمیل نشد. در 32 گروه، لایهی هاست میانهی زمان انتظار را 6.7 برابر کاهش داد و نرخ پردازش (throughput) را به 2.7 برابر رساند. هر دو سرور در این نقطه بسیار پایینتر از کف فرکانس 1,000 مگاهرتز ما کار میکردند. فرکانس سرورِ دارای HiCache حدود 1.65 برابر سرور پیشفرض بود؛ بنابراین این بهبود 6.7 برابری، ترکیبی از اثر کش و اختلاف فرکانس است.
در 64 گروه، پرامپتها به فضایی بیشتر از مجموع ظرفیت استخر GPU و هاست (حدود 120,000 توکن) نیاز داشتند. HiCache همچنان زمان انتظار را 1.9 برابر کم کرد، اما دیگر نزدیک به نتیجهی 4 گروه نبود.
کارت گرافیک در این اجراها داغ شده بود. از 16 گروه به بالا، در هر دو سرور بین 52 تا 95 درصد از نمونهها پرچم حرارتی (thermal flag) داشتند. سرور پیشفرض محاسبات مجدد بیشتری انجام میداد و داغتر کار میکرد؛ در نتیجه بخشی از افت آن به فرکانس مربوط است. خطوط اصابت کش در بالا به فرکانس وابسته نیستند و شواهد محکمتری به حساب میآیند.
سیستم GB10 همین بار کاری را بهعنوان سیستم شاهد (control) روی مدلی دیگر، یعنی Qwen/Qwen3-30B-A3B-Instruct-2507، و بدون HiCache اجرا کرد. ما لایهی هاست را در آنجا خاموش گذاشتیم؛ زیرا در GB10 حافظهی CPU و GPU یکی است و کپی گرفتن روی هاست در عمل فضا را از همان حافظهای میگرفت که استخر در آن قرار داشت.
[2026-10-17 19:33:31] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 260013, K size: 11.90 GB, V size: 11.90 GB
[2026-10-17 19:52:36] Prefill batch, #new-seq: 1, #new-token: 67, #cached-token: 2196, token usage: 0.01, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 29.36
[2026-10-17 19:52:36] Prefill batch, #new-seq: 7, #new-token: 476, #cached-token: 15146, token usage: 0.06, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 1605.53استخر در زمان راهاندازی، سپس دو خط پیشپرکنی پیاپی. خطوط طولانی کوتاه شدهاند.
استخر آن 260,013 توکن ظرفیت داشت؛ یعنی فضا برای تمام 64 پرامپت سیستمی بهطور همزمان. خط دوم پیشپرکنی 15,146 توکن را برای 7 درخواست جدید در کش پیدا کرد. میانهی TTFT از 4 گروه تا 64 گروه بین 448 تا 460 میلیثانیه باقی ماند. چیزی تخلیه نشد، در نتیجه لایهی هاست هم چیزی برای بازگرداندن نداشت.
آزمون ما به یک قاعده اشاره دارد: حجم مجموعهی فعال (working set). پیشوندهای متمایزی را که کاربران طی چند دقیقه دوباره به آنها برمیگردند جمع بزنید. در آزمون ما، لایهی هاست تنها زمانی صرفه داشت که این مجموع، بزرگتر از استخر GPU و کوچکتر از مجموع استخرهای GPU و هاست بود. وقتی این حجم از استخر GPU کمتر بود، لایهی هاست هیچ فایدهای نداشت.
موضع ما: HiCache را برای نشستهای طولانی اضافه کنید، آن هم مرحلهبهمرحله
هزینهی استفاده از HiCache زمانی جبران میشود که طول عمر نشستها از ظرفیت استخر GPU بیشتر باشد؛ مثل چتهای چندنوبتی، ایجنتهای کدنویسی و پرسشهای مکرر از اسناد طولانی. برای پرامپتهای کوتاه و یکبارمصرف، این روش فقط کپیها و بارگذاریهای بیفایده ایجاد میکند. این لایهها را دقیقاً به همین ترتیب اضافه کنید و در هر مرحله نرخ اصابت و صدک 99 زمان تا اولین توکن را بسنجید:
- ابتدا پرامپتها را از نظر پیشوند پایدار کنید (prefix-stable)، مطابق بخش 3.4.
- فقط لایهی L2 را با همان سیاست پیشفرض
write_throughفعال کنید. - اگر کپیهای هاست پهنای باند PCIe را بیش از حد اشغال میکنند، به
write_through_selectiveسوییچ کنید. - اگر چند نمونه باید پیشوندها را به اشتراک بگذارند، یک لایهی ذخیرهسازی L3 اضافه کنید.
- سیاست تخلیه را در آخرین مرحله تغییر دهید.
منابع: python/sglang/srt/mem_cache/evict_policy.py و python/sglang/srt/mem_cache/unified_radix_cache.py (برای write_through_threshold و prefetch_timeout_base) و python/sglang/srt/mem_cache/hybrid_cache/hybrid_pool_assembler.py (برای prefetch_threshold) و python/sglang/srt/arg_groups/fields/memory.py در نسخهی v0.5.22؛ docs/docs/advanced_features/hicache_design.mdx و radix_eviction_policy.mdx در نسخهی v0.5.22؛ یادداشتهای انتشار نسخهی v0.5.21؛ مقالهی Liu, Yu, and Yang با عنوان When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse در arXiv 2609.28870 (2026-09)؛ پست HiCache تیم SGLang در تاریخ 2025-09-10؛ پست تیم RBG و Mooncake در وبلاگ Alibaba Cloud در تاریخ 2026-03-10؛ ایشوهای 35129#، 30760# و 42465#؛ مقالهی arXiv 2510.15152؛ capture/gpu/out-l4/server-working-set-hicache.log و capture/gpu/out-l4/server-working-set-default.log و capture/gpu/summary/l4.json و capture/gpu/summary/gb10.json و capture/gpu/out-gb10/server-working-set-default.log و capture/gpu/out-l4/eviction-multiturn.txt و capture/gpu/out-l4/small-pool-crash.txt.