بخش 3.2 · کش KV

پرچم mem-fraction-static-- و تعیین اندازه در زمان راه‌اندازی

--mem-fraction-static and startup sizing

فهرست مطالب
  1. کرشی که ثبت کردیم
  2. نحوه‌ی تصمیم‌گیری SGLang برای تقسیم حافظه
  3. رفتار پیش‌فرض فرض می‌کند سیستم کاملاً به SGLang اختصاص دارد
  4. حافظه‌ی یکپارچه روی پردازنده‌ی GB10
  5. استخری که سایر برنامه‌ها می‌بینند
  6. حافظه‌ی خارج از کسرِ تعیین‌شده
  7. دیدگاه ما: روی هر سیستم اشتراکی، این نسبت را خودتان تعیین کنید
  8. مواردی که باید اندازه بگیرید

موتور SGLang استخر KV را فقط یک‌بار هنگام راه‌اندازی و بر اساس اسنپ‌شاتی از حافظه‌ی آزاد اندازه می‌زند؛ بنابراین اگر وضعیت حافظه‌ی سیستم پس از بالا آمدن تغییر کند، کل سرور ممکن است از کار بیفتد.

یکی از نخستین سرورهای SGLang که روی سیستم Macِ ثبت داده راه‌اندازی کردیم، فقط چهار دقیقه دوام آورد. سپس در یک بنچمارک با 32 درخواست هم‌زمان، به دلیل خطای کمبود حافظه در Metal (Metal out-of-memory) کرش کرد و تک‌تک فرایندهای سرور بسته شدند. جالب این‌که استخر KV در همان لحظه 95 درصد خالی بود. حافظه به این استخر اختصاص داده شده بود و مرحله‌ی پیش‌پرکنی (prefill) بعدی دیگر فضایی برای اجرا نداشت.

با مطالعه‌ی این بخش، نحوه‌ی تقسیم حافظه توسط SGLang هنگام بالا آمدن را می‌آموزید و می‌توانید پیش‌بینی کنید چه زمانی این سازوکار به مشکل می‌خورد. همچنین یاد خواهید گرفت چگونه پرچم --mem-fraction-static را آگاهانه و هدفمند تنظیم کنید.

کرشی که ثبت کردیم

پیش از آماده‌سازی کیت ثبت داده، سرور را دو بار با دستور یکسان و بدون پرچم --mem-fraction-static اجرا کردیم. اندازه‌ای که در این دو بار برای استخر در نظر گرفته شد، کاملاً متفاوت بود.

دو راه‌اندازی، دو اندازه‌ی استخر حافظه capture/out/oom-exploratory.log
# run 1 startup
[2026-10-16 13:30:31] Auto-sized attention KV pool: sys_available=27.81 GB, mlx_limit=51.8 GB, mlx_used=0.31 GB, kv_budget=24.25 GB, bytes_per_slot=114688, pool_size=227022
# run 2 startup
'mem_fraction_static': 0.872
[2026-10-16 13:38:58] Auto-sized attention KV pool: sys_available=38.29 GB, mlx_limit=51.8 GB, mlx_used=0.31 GB, kv_budget=33.39 GB, bytes_per_slot=114688, pool_size=312581

خطوطی از دو اجرای اکتشافی روی یک مک مشابه، پیش از ابزار ثبت داده. خطوط کامنت از ماست.

در کد SGLang هیچ تغییری رخ نداده بود. برنامه‌های دیگر روی سیستم Mac در اجرای دوم حافظه‌ی کمتری مصرف می‌کردند و در نتیجه، مقدار sys_available از 27.81 گیگابایت به 38.29 گیگابایت رسید. استخر هم همراه با آن از 24.25 گیگابایت به 33.39 گیگابایت افزایش پیدا کرد. هر دو مقدار دقیقاً 87.2 درصد از حافظه‌ی آزاد سیستم بودند، چرا که مقدار خودکار mem_fraction_static روی 0.872 محاسبه شده بود.

کرش در همزمانی 32 capture/out/oom-exploratory.log
[2026-10-16 13:42:53] Decode batch, #running-req: 32, #token: 16095, token usage: 0.05, cuda graph: False, gen throughput (token/s): 564.55, #queue-req: 0
[2026-10-16 13:42:55] Prefill batch, #new-seq: 1, #new-token: 511, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 9, #pending-token: 0, cuda graph: False, input throughput (token/s): 66.85
RuntimeError: [METAL] Command buffer execution failed: Insufficient Memory (00000008:kIOGPUCommandBufferCallbackErrorOutOfMemory).

[2026-10-16 13:42:57] SIGQUIT received. signum=None, frame=None. It usually means one child failed.
…
[2026-10-16 13:43:02] kill_process_tree called: parent_pid=81559, include_parent=True, pid=81559

خطوطی از اجرای دوم. ردگیری خطا (traceback) بالای خط RuntimeError بریده شده است.

ابتدا عبارت token usage: 0.05 را بخوانید. در آن لحظه، 32 درخواست در مجموع 16,095 توکن را نگه داشته بودند که فقط 5 درصد از استخر 312,581 توکنی محسوب می‌شد. استخر حافظه 33 گیگابایت را رزرو کرده بود اما کمتر از 2 گیگابایت آن مصرف می‌شد. اکتیویشن‌های گذر رو به جلو (forward pass) بعدی به فضایی بیرون از استخر نیاز داشتند، در حالی که دیگر حافظه‌ای در سیستم‌عامل باقی نمانده بود. خراب شدن یک بافر فرمان کافی بود تا اسکژولر (Scheduler) از کار بیفتد و سرور تمام درخت فرایندهای خود را متوقف کند.

یک مک، دو نوع تخصیص حافظهاستخری با 87 درصد حافظه آزاد، فضای کمی برای اکتیویشن‌ها گذاشت؛ کسر 0.4 سرور را فعال نگه داشت.
یک مک، دو نوع تخصیص حافظه دو نوار در مقیاس 0 تا 50 گیگابایت. اجرای اکتشافی 2 با دیدن 38.29 گیگابایت حافظه آزاد، 33.39 گیگابایت آن را با mem_fraction_static برابر با 0.872 به استخر KV داد (4.90 گیگابایت باقی ماند) و در همزمانی 32 با کمبود حافظه کرش کرد. اجرای ابزار با 48.49 گیگابایت حافظه آزاد، 19.39 گیگابایت را با کسر 0.4 تخصیص داد (29.10 گیگابایت باقی ماند) و 128 درخواست را در همزمانی 32 کامل کرد. اجرای اکتشافی 2 · کسر 0.872 (خودکار) استخر KV 33.39 گیگابایت باقی‌مانده برای اکتیویشن‌ها و سایر برنامه‌ها: 4.90 گیگابایت کمبود حافظه در همزمانی 32؛ سرور بسته شد ابزار ثبت · 0.4 mem-fraction-static-- استخر KV 19.39 گیگابایت باقی‌مانده برای اکتیویشن‌ها 29.10 گیگابایت 128 درخواست از 128 تا در همزمانی 32 پایان یافت 0 GB 10 GB 20 GB 30 GB 40 GB 50 GB
هر نوار را از چپ به راست بخوانید. بخش سبز استخر KV است و بخش خاکستری سایر موارد. از capture/out/oom-exploratory.log و capture/out/server-default.log.

نحوه‌ی تصمیم‌گیری SGLang برای تقسیم حافظه

--mem-fraction-static: سهمی از حافظه که SGLang به وزن‌های مدل به‌اضافه‌ی استخر KV اختصاص می‌دهد. هر فضایی خارج از این سهم، برای اکتیویشن‌ها، گراف‌های CUDA و سایر برنامه‌ها باقی می‌ماند. مقدار پیش‌فرض این پرچم None است و SGLang آن را در زمان راه‌اندازی محاسبه می‌کند {{code}}.

روی کارت گرافیک، مقدار خودکار بر اساس یک حافظه‌ی ذخیره (reserve) تعیین می‌شود. SGLang ابتدا 512 مگابایت کنار می‌گذارد و به ازای هر توکن در تکه‌ی پیش‌پرکنی (prefill chunk)، مقدار 1.5 مگابایت به آن اضافه می‌کند {{code}}. در ادامه، مقداری هم برای موازی‌سازی تنسور و موازی‌سازی پایپ‌لاین (Pipeline Parallelism) و همچنین گراف‌های CUDA به این فضا افزوده می‌شود. در یک پردازنده‌ی گرافیکی با بیش از 60 گیگابایت حافظه، این حافظه‌ی ذخیره حداقل 10 GiB است. سپس این کسر از تقسیم تفاضل «حافظه‌ی کل GPU منهای حافظه‌ی ذخیره» بر «حافظه‌ی کل GPU» به دست می‌آید. اگر SGLang نتواند ظرفیت دستگاه را بخواند، مقدار 0.95 را مبنا قرار می‌دهد.

پس از بارگذاری وزن‌ها، SGLang دوباره حافظه‌ی آزاد را اندازه می‌گیرد. بودجه‌ی استخر KV برابر است با حافظه‌ی آزاد فعلی منهای سهم 1 - fraction از حافظه‌ای که قبل از بارگذاری آزاد بوده است {{code}}. استخر، حاصل تقسیم این بودجه بر بایتِ مورد نیاز به ازای هر توکن (مطابق بخش 3.1) را در خود نگه می‌دارد. اگر این بودجه مثبت نباشد، راه‌اندازی متوقف می‌شود و کمترین کسری که پاسخگوی نیاز است چاپ خواهد شد.

بک‌اند MLX روی تراشه‌های Apple silicon از قاعده‌ی ساده‌تری پیروی می‌کند {{code}}. این بک‌اند عدد کوچک‌تر را از میان دو مقدار برمی‌گزیند: اولی کسری از فضای کاری Metal منهای حافظه‌ی در حال استفاده؛ و دومی کسری از حافظه‌ی در دسترس سیستم در همان لحظه. عبارت دوم همان اسنپ‌شاتی است که بین دو بار اجرای تست ما تغییر کرد.

این کسر را سهم مشترکِ وزن‌ها و استخر KV در نظر بگیرید؛ کد برنامه دقیقاً به همین شکل با آن رفتار می‌کند.

رفتار پیش‌فرض فرض می‌کند سیستم کاملاً به SGLang اختصاص دارد

این قاعده‌ی خودکار روی یک پردازنده‌ی گرافیکی اختصاصی منطقی است. برنامه‌ی دیگری آنجا حافظه نمی‌گیرد و حافظه‌ی ذخیره هم اکتیویشن‌های یک تکه‌ی پیش‌پرکنی و گراف‌های CUDA را پوشش می‌دهد. این قاعده در سه حالت متداول با شکست روبه‌رو می‌شود:

  • سیستم اشتراکی: لپ‌تاپ، ورک‌استیشن یا نودی که پردازش‌های دیگری هم روی آن در حال اجرا است. اسنپ‌شاتی که در ابتدای کار گرفته می‌شود در طول عمر سرور پابرجا نمی‌ماند.
  • ظرفیت نامشخص: در دستگاه‌هایی که SGLang نمی‌تواند اندازه‌ی حافظه را بخواند، این نسبت روی 0.95 تنظیم می‌شود و تنها 5 درصد فضا برای اکتیویشن‌ها باقی می‌ماند. گزارش اشکال شماره‌ی 39675 دقیقاً همین خرابی و خطای کمبود حافظه در اولین پیش‌پرکنی روی Apple MPS را نشان می‌دهد {{issue #39675}}.
  • حافظه‌ی اضافیِ پنهان از دید تخمین‌گر: گزارش اشکال شماره‌ی 42510 نشان می‌دهد نسخه‌های مدل پیش‌نویس (Draft Model) هنگام تعیین اندازه‌ی استخرِ مدل اصلی در حافظه باقی می‌مانند و تخصیص حافظه برای استخر مدل پیش‌نویس شکست می‌خورد {{issue #42510}}. در گزارش شماره‌ی 6027 هم یک پرامپت (Prompt) 64K توکنی از مدل DeepSeek-V3 در مرحله‌ی اتنشن (Attention) با کمبود حافظه مواجه شد، هرچند لاگ گزارش داده بود برای 274,934 توکن KV فضا وجود دارد {{issue #6027}}.

حافظه‌ی یکپارچه روی پردازنده‌ی GB10

ما اندازه گرفتیم: همین قاعده را روی پردازنده‌ی NVIDIA GB10 (تراشه‌ی DGX Spark) بررسی کردیم. پردازنده‌ی مرکزی و گرافیکی این تراشه در مجموع 121.7 GiB حافظه‌ی مشترک دارند. در اینجا حافظه‌ی ویدیویی اختصاصی وجود ندارد و این موضوع، معنای تک‌تک اعداد در لاگ بالا آمدن سیستم را تغییر می‌دهد.

یک راه‌اندازی GB10، از ظرفیت تا استخر حافظه capture/gpu/out-gb10/server-default.log
[2026-10-17 14:12:57] Failed to get GPU memory capacity from nvidia-smi. Falling back to torch.cuda.mem_get_info(). Reported total GPU memory per device (MiB): [124610], using min: 124610 MiB.
…
[2026-10-17 14:13:05] Load weight begin. avail mem=112.59 GB
…
[2026-10-17 14:18:29] Load weight end. elapsed=323.61 s, type=Qwen3MoeForCausalLM, avail mem=54.84 GB, mem usage=57.75 GB.
[2026-10-17 14:18:32] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 227243, K size: 10.40 GB, V size: 10.40 GB
[2026-10-17 14:18:32] Memory pool end. avail mem=31.22 GB

خطوط حذف‌شده از لاگ شروع کانفیگ پیش‌فرض GPU؛ مدل Qwen3-30B-A3B در BF16 با کسر 0.7.

خط اول ظرفیت است. nvidia-smi ظرفیتی برای GB10 گزارش نمی‌کند، بنابراین SGLang مقدار کل حافظه را از PyTorch می‌خواند.

خط دوم حافظه‌ی آزاد است و کد برنامه در اینجا محتاطانه عمل می‌کند. در دستگاه‌هایی که حافظه‌ی سیستم را به اشتراک می‌گذارند، تابع torch.cuda.mem_get_info() کَش فایل‌های کرنل (Kernel) را جزو حافظه‌ی مصرف‌شده حساب می‌کند. در روزی که کش فایل‌های سیستم سنگین باشد، این مقدار می‌تواند بسیار کمتر از پتانسیل واقعی سیستم نشان داده شود. SGLang بررسی می‌کند که آیا دستگاه یکپارچه (integrated) است یا خیر؛ اگر باشد، حافظه‌ی دردسترس سیستم‌عامل را به‌جای آن می‌خواند {{code}}. این مقدار، حافظه‌ای را که کرنل سیستم‌عامل می‌تواند آزاد کند هم جزو فضای دردسترس به شمار می‌آورد. در داده‌هایی که پس از ریبوت سیستم ثبت کردیم، این دو عدد هم‌خوان بودند: 112.1 GiB از PyTorch و 112.59 گیگابایت از SGLang.

پیامد چنین انتخابی این است که اندازه‌ی استخر همراه با سایر بخش‌های سیستم نوسان می‌کند. شش بار اجرای مختلف در فرمت BF16 با دستور یکسان و وزن‌های مشابه را ببینید:

پیکربندی دردسترس قبل از بارگذاری وزن‌ها وزن‌ها بر اساس اندازه‌گیری SGLang استخر KV (تعداد توکن)
پیش‌فرض 112.59 GB 57.75 GB 227,243
بدون گراف CUDA 113.21 GB 54.78 GB 258,017
قطعی (Deterministic) 113.44 GB 57.90 GB 234,517
بدون radix cache 113.17 GB 57.34 GB 236,315
بدون همپوشانی (Overlap) 113.37 GB 57.92 GB 233,822
EAGLE-3 همراه با مدل پیش‌نویس 113.45 GB 57.49 GB 216,775

وزن‌های مدل هیچ تغییری نکردند، با این حال اندازه‌ی ثبت‌شده‌ی آن‌ها از 54.78 گیگابایت تا 57.92 گیگابایت متغیر بود. دلیلش این است که SGLang وزن مدل را از روی افت حافظه‌ی دردسترس اندازه می‌گیرد و کش کرنل در طول هر بار بارگذاری تغییر می‌کرد. در بین پنج اجرای بدون مدل پیش‌نویس، اندازه‌ی استخر تا 14 درصد اختلاف داشت. پرچم‌های اجرایی هم دلیل این پراکندگی نبودند، چرا که برای وزن‌های کاملاً یکسان، تا 3 گیگابایت تفاوتِ محاسبه ثبت شد. روی حافظه‌ی یکپارچه (Unified Memory)، اندازه‌ی استخر در یک بار اجرا صرفاً تخمینی برای اجرای بعدی است، نه یک عدد ثابت.

استخری که سایر برنامه‌ها می‌بینند

روی پردازنده‌ی GB10، استخر KV فضایی در حد چند ده گیگابایت است که SGLang ظرف چند ثانیه آن را تخصیص می‌دهد. تمام برنامه‌های دیگرِ سیستم متوجه این تخلیه‌ی ناگهانی حافظه می‌شوند. روی سیستم GB10 ما یک دیمن محافظ حافظه برای سایر کاربران هم فعال بود. این دیمن هرگاه حافظه‌ی آزاد افت شدیدی پیدا کند، فرایندی را که سریع‌ترین رشد مصرف را دارد متوقف می‌کند. این سرویس در حین بالا آمدن سیستم، اسکژولر ما را سه بار متوقف کرد:

محافظ حافظه، اسکژولر را متوقف می‌کند capture/gpu/incidents/gb10-memory-guard-pauses.txt
2026-10-16T12:53:16+00:00 2026/10/16 12:53:16 guardian level: Critical: 34.2 GiB left before the freeze zone.
2026-10-16T12:53:16+00:00 2026/10/16 12:53:16 guardian pause: Paused sglang::schedul (pid 2983880, rohit): it grew 36.7 GiB in 5s with 34.2 GiB left. Resume or stop it from the app.

دو خط اول از لاگ محافظ حافظه در اجرای ما روی GB10.

لاگ‌های سرور برای آن سه بار اجرا را نگه نداشتیم، اما لاگ محافظ حافظه نشان می‌دهد که اسکژولر ظرف 5 ثانیه 36.7 GiB رشد مصرف داشته که دقیقاً برابر با تخصیص استخر KV است. محافظ بر اساس قانون خود درست عمل کرده بود: اسکژولر بیشترین سرعت رشد مصرف را داشت. چند ثانیه بعد هم پیام «Back to normal» را ثبت کرد، چرا که تخصیص استخر کامل شده بود. در نهایت با صاحب سرور توافق کردیم که سرویس محافظ را در طول تست‌هایمان متوقف کند.

درایور NVIDIA هم هنگام راه‌اندازی خطاهای حافظه گزارش می‌کند. لاگ کرنلِ GB10 رگباری از این خط را در خود دارد:

خط درایور در هنگام راه‌اندازی سرور capture/gpu/incidents/gb10-driver-no-memory.txt
NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1359

آخرین خط فایل. خطوط بالاتر جهش‌ها در دقیقه را شمارش می‌کنند.

این رگبارها مربوط به تاریخ 2026-10-16، یعنی روز اولین تست‌ها و اجراهای آزمایشی ما روی GB10 هستند. لاگ‌های آن روز را ذخیره نکرده‌ایم و نمی‌توانیم هر رگبار را به یک اجرای خاص ربط دهیم. اما تمام سرورها در ثبت‌های بعدی با موفقیت بالا آمدند و بنچمارک‌های خود را به پایان رساندند.

دیدگاه ما: روی حافظه‌ی یکپارچه، استخر KV فضایی است که کل سیستم باید از آن چشم بپوشد. پرچم --mem-fraction-static را هدفمند وارد کنید و قبل از بالا آوردن سرور، سایر کاربران سیستم را مطلع سازید. فقط با دیدن این خط درایور آلارم نزنید؛ تنها زمانی هشدار دهید که وضعیت سرور سالم نشود.

حافظه‌ی خارج از کسرِ تعیین‌شده

این کسر همه‌ی حافظه‌ای را که SGLang هنگام راه‌اندازی می‌گیرد محدود نمی‌کند. کاربری هنگام اجرای یک مدل 27B با SGLang روی سرور DGX Spark، از تخصیص کوتاه‌مدت 25 تا 40 گیگابایت حافظه خارج از محاسبات SGLang خبر داد. تیونر خودکار FlashInfer و ضبط گراف‌های CUDA این فضا را مصرف کرده بودند. اجرای مستقیم روی سیستم میزبان باعث فریز شدن دستگاه شد و کار به قطع و وصل برق کشید. کاربر در نهایت برنامه را داخل یک کانتینر با سقف حافظه و تنظیم --mem-fraction-static 0.50 اجرا کرد.

این گزارش میدانی مربوط به پیش از v0.5.22 است و نسخه‌ی SGLang در آن مشخص نیست. به آن به چشم یک هشدار نگاه کنید، نه واقعیتی قطعی درباره‌ی v0.5.22. ما خودمان مستقیماً این مسئله را اندازه نگرفته‌ایم. هرچند لاگ سرویس محافظ در بالا رشد سریع حافظه در شروع را نشان می‌دهد، اما استخر را از سایر تخصیص‌ها تفکیک نمی‌کند.

روی یک پردازنده‌ی GB10 که با برنامه‌های دیگر مشترک است، SGLang را در کانتینری با محدودیت حافظه بالا بیاورید. کار را با مقداری کمتر از کسر 0.7 (که در کیت ما استفاده شد) شروع کنید. در زمان راه‌اندازی، ثانیه‌ای یک بار حافظه‌ی آزاد سیستم را لاگ بگیرید و فقط پس از مشاهده‌ی نقطه‌ی اوج (peak)، این نسبت را بالا ببرید.

دیدگاه ما: روی هر سیستم اشتراکی، این نسبت را خودتان تعیین کنید

روی هر سیستمی که کاری به جز اجرای SGLang انجام می‌دهد، مقدار --mem-fraction-static را خودتان وارد کنید. کیت ثبت داده روی سیستم Mac از عدد 0.4 استفاده می‌کند. با این مقدار، همان بنچمارکی که اجرای دوم را کرش داد، تمام 128 درخواست را در همروندی 32 به پایان رساند.

سرور ابزار، با یک کسر صریح و مشخص capture/out/server-default.log
[2026-10-16 13:58:03] Auto-sized attention KV pool: sys_available=48.49 GB, mlx_limit=51.8 GB, mlx_used=0.31 GB, kv_budget=19.39 GB, bytes_per_slot=114688, pool_size=181574

یک خط از شروع به‌کار در کانفیگ پیش‌فرض ابزار.

بودجه‌ی حافظه اکنون به 19.39 گیگابایت رسیده که دقیقاً 0.4 از اسنپ‌شات 48.49 گیگابایتی است. استخر همچنان 181,574 توکن ظرفیت دارد که بسیار فراتر از نیاز 32 درخواستِ 640 توکنی است. کوچک‌تر شدن استخر در این بار کاری هیچ هزینه‌ای نداشت، چون بار کاری هرگز استخر را پر نکرد.

روی GB10 عکس این وضعیت را آزمایش کردیم. پیمایش بار (load sweep) در بخش 5.1 دو بار اجرا شد: یک بار با کسر 0.7 کیت در تاریخ 2026-10-16 و بار دیگر با 0.82 در تاریخ 2026-10-17، با سه سید تصادفی برای هر نقطه.

استخر بزرگ‌تر روی GB10، در پرترین حالت خود capture/gpu/out-gb10/server-load-default-kv-max.log
[2026-10-17 16:35:26] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 383065, K size: 17.54 GB, V size: 17.54 GB
[2026-10-17 16:47:45] Decode batch, #running-req: 64, #token: 40751, token usage: 0.11, cuda graph: True, gen throughput (token/s): 263.88, #queue-req: 0

استخر با کسر 0.82 و خط رمزگشایی با بالاترین میزان مصرف توکن در کل آزمایش.

ما اندازه گرفتیم: استخر BF16 با 383,065 توکن در برابر 234,600 توکن، 63 درصد افزایش داشت. استخر FP8 هم از 1,084,458 به 1,378,545 توکن رسید. نرخ پردازش (Throughput) تغییری نکرد. در 64 کاربر، فرمت BF16 به سرعت 238.72 توکن در ثانیه در برابر 235.38 رسید و FP8 نیز 442.71 در برابر 440.86 را ثبت کرد. در تمام سطوح همروندی، میانه‌های دو حالت حداکثر 2 درصد با هم فاصله داشتند.

استخر بزرگ‌تر فاقد دستاورد وقتی استخر هرگز پر نشدافزایش کسر از 0.7 به 0.82 روی GB10 استخر BF16 را 63 درصد افزایش داد ولی نرخ پردازش حلقه‌بسته را کمتر از 2 درصد تغییر داد.
استخر بزرگ‌تر فاقد دستاورد وقتی استخر هرگز پر نشد نرخ پردازش خروجی برحسب همزمانی 1 تا 64 برای مدل Qwen3-30B-A3B روی یک NVIDIA GB10؛ سه سید در هر نقطه، با mem-fraction-static-- برابر 0.7 و 0.82. استخر BF16 از 234,600 به 383,065 توکن و استخر FP8 از 1,084,458 به 1,378,545 رشد کرد، اما منحنی‌ها منطبق‌اند: 235 در برابر 239 توکن/ثانیه برای BF16 و 441 در برابر 443 برای FP8 در همزمانی 64. 0 100 200 300 400 500 1 2 4 8 16 32 64 حداکثر همزمانی توکن‌های خروجی در ثانیه BF16, 0.7 BF16, 0.82 FP8, 0.7 FP8, 0.82
نرخ پردازش خروجی در برابر حداکثر همزمانی؛ سه سید در هر نقطه. خطوط ممتد کسر 0.7 و خط‌چین‌ها 0.82 هستند. رنگ بنفش برای BF16 و سبز برای FP8 با کش کلید-مقدار FP8 است. برگرفته از capture/gpu/summary/gb10.json.

خط لاگ علت را توضیح می‌دهد: 64 درخواست هم‌زمان در مجموع 40,751 توکن مصرف کردند که تنها 11 درصد استخر بود. روی سرور کیت با کسر 0.7 هم بالاترین مصرف توکن به 18 درصد رسید. استخر حافظه هرگز گلوگاه نبود، در نتیجه استخر بزرگ‌تر کاری برای انجام دادن نداشت. این وضعیت را با شتاب‌دهنده‌ی L4 در بخش 4.3 مقایسه کنید؛ جایی که استخر BF16 در 64 کاربر پر شد و کوانتیزه‌سازی (Quantization) به FP8 نرخ پردازش را تقریباً سه برابر کرد.

پیمایش حلقه-باز (open-loop) در بخش 5.1 نیمه‌ی دیگر پاسخ را آشکار کرد. در نرخ 16 درخواست در ثانیه (که بیش از توان پاسخ‌دهی GB10 است)، در حالی که پردازش درخواست‌های قبلی هنوز ادامه داشت، درخواست‌های جدید مدام از راه می‌رسیدند. در این سناریو، استخر بزرگ‌تر واقعاً اهمیت پیدا کرد.

استخر در 0.7 تحت سرریز بار حلقه‌باز capture/gpu/out-gb10/server-rate-default-full.log
[2026-10-16 19:08:23] Decode batch, #running-req: 374, #token: 227530, token usage: 0.96, cuda graph: False, gen throughput (token/s): 866.37, #queue-req: 101

یک خط رمزگشایی در نرخ بار 16 درخواست بر ثانیه، با کسر 0.7.

استخر در 0.82 تحت همان سرریز بار capture/gpu/out-gb10/server-rate-default-kv-max.log
[2026-10-17 18:00:45] Decode batch, #running-req: 480, #token: 289721, token usage: 0.75, cuda graph: False, gen throughput (token/s): 994.20, #queue-req: 0

خط رمزگشایی با بالاترین میزان مصرف توکن در نرخ 16 درخواست در ثانیه، با کسر 0.82.

در کسر 0.7، استخر تا 96 درصد پر شد و 101 درخواست بیرون از آن معطل ماندند. اما در 0.82، همه‌ی 480 درخواست تست به طور هم‌زمان جا شدند. ما اندازه گرفتیم: 5.19 درخواست تکمیل‌شده در ثانیه در برابر 3.88 (34 درصد بیشتر) و 664 توکن خروجی در ثانیه در برابر 497، در سه سید مختلف برای هر حالت. با توجه به این‌که دو تست با فاصله‌ی یک روز اجرا شدند، بخشی از این اختلاف می‌تواند به شرایط سیستم مربوط باشد. خطوط لاگ سازوکار را نشان می‌دهند و اندازه‌ی این بهبود متعلق به همین اجرا است. فرمت FP8 در هر دو کسر، استخری بالای یک میلیون توکن داشت و نرخ آن عملاً تغییری نکرد: 8.29 در برابر 8.26 درخواست در ثانیه.

بنابراین اختصاص 13.6 گیگابایت حافظه‌ی اضافه، در 64 کاربر هیچ دستاوردی نداشت اما زیر بار اضافه، نرخ پردازش را یک‌سوم بیشتر کرد. اندازه‌ی استخر را بر اساس مصرف توکن در اوج بار تعیین کنید؛ از جمله جهش‌های ناگهانی ترافیک که سریع‌تر از توان سرویس‌دهی شما می‌رسند. در سیستمی که GB10 را با برنامه‌های دیگر به اشتراک می‌گذارد، حافظه‌ای که نیاز ندارید فضایی است که برنامه‌ای دیگر نمی‌تواند از آن استفاده کند.

روی کارت گرافیک اختصاصی، ابتدا به مقدار خودکار اعتماد کنید. تنها زمانی این کسر را با گام‌های 0.02 افزایش دهید که در لاگ اسکژولر پر شدن استخر و بازپس‌گیری‌ها (retractions) را ببینید. حد بالا را در محیط استیجینگ (staging) با طولانی‌ترین پرامپت‌های خود پیدا کنید، سپس سرور محیط عملیاتی (production) را یک یا دو گام پایین‌تر از آن اجرا کنید. چنانچه پرامپت‌های طولانی در مرحله‌ی اتنشن با خطا مواجه شدند (مشابه گزارش اشکال 6027)، آن را کاهش دهید.

این کسر مقایسه‌ها را هم تغییر می‌دهد. در یک بنچمارک مستقل، SGLang با کسر خودکار و vLLM با کسر پیش‌فرض 0.9 از حافظه‌ی GPU مقایسه شده بودند {{field Rawlinson 2025-12}}. این دو موتور استخرهای KV با اندازه‌های بسیار متفاوتی داشتند. پیش از اعتماد به هر بنچمارکی که هر دو مقدار را شفاف بیان نمی‌کند، بخش 5.3 را بخوانید.

مواردی که باید اندازه بگیرید

  • خط max_total_num_tokens در زمان راه‌اندازی؛ که نتیجه‌ی کل محاسبات است.
  • پارامتر token usage در خطوط مرحله‌ی رمزگشایی (decode)؛ مقداری نزدیک به 1.0 یعنی استخر پر است.
  • حافظه‌ی آزاد سیستم در سنگین‌ترین مرحله‌ی پیش‌پرکنی، با خواندن مستقیم از سیستم‌عامل.

یک هشدار دیگر برای Apple silicon: سنجه‌ی kv_cache_memory_usage_gb در تست ما عدد 0.0 را نشان می‌داد، چرا که بک‌اند MLX استخر خود را بیرون از سازوکار محاسبه‌ی این متریک تخصیص می‌دهد. به‌جای آن، از خط لاگ MlxAttentionKVPool استفاده کنید که مقداری حدود 19,860 مگابایت را گزارش می‌کرد.

منابع: python/sglang/srt/arg_groups/memory_hook.py (handle_gpu_memory_settings)، python/sglang/srt/mem_cache/kv_cache_configurator.py (_profile_available_bytes)، python/sglang/srt/hardware_backend/mlx/model_runner.py (_compute_pool_size)، python/sglang/srt/arg_groups/fields/schedule.py (mem_fraction_static) در نسخه‌ی v0.5.22، capture/out/oom-exploratory.log، capture/out/server-default.log، capture/out/metrics.txt، python/sglang/srt/utils/common.py (get_available_gpu_memory) در نسخه‌ی v0.5.22، capture/gpu/out-gb10/server-*.log، capture/gpu/out-gb10/environment.json، capture/gpu/incidents/gb10-memory-guard-pauses.txt، capture/gpu/incidents/gb10-driver-no-memory.txt، گزارش‌های اشکال #39675، #42510 و #6027، بنچمارک Rawlinson در تاریخ 2025-12-05، capture/gpu/out-gb10/server-load-default-kv-max.log، capture/gpu/summary/gb10.json، capture/gpu/out-gb10/server-rate-default-full.log، capture/gpu/out-gb10/server-rate-default-kv-max.log، capture/gpu/out-gb10/server-default.log، capture/gpu/out-gb10/server-pools.log و پست basbunarhasan، مدل Qwen3.8-27B با سرعت 34 تا 38 توکن در ثانیه روی DGX Spark، راه‌اندازی متن‌باز با یک دستور (SGLang + NVFP4 + DSpark)، انجمن توسعه‌دهندگان NVIDIA (تاریخ 2026-08-15).

ترجمه‌ی فارسی --mem-fraction-static and startup sizing از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما