وضعیت
مهندسی قصد دارد با رساندن سریعتر اولین توکن در پرامپتهای طولانی روی یک سرور L4 که مدل Qwen/Qwen3-8B را اجرا میکند، عملکرد را بهتر کند. ایدهی کار ساده است: دو برابر کردن اندازهی تکهی پیشپرکنی (prefill chunk) یعنی نصف شدن تعداد نوبتهای اسکژولر (scheduler) برای یک پرامپت طولانی. او سرور را با فلگ --chunked-prefill-size 8192 راه میاندازد و بقیهی فلگها را روی مقادیر پیشفرض دستنخورده میگذارد.
سرور هرگز به وضعیت آمادهبهکار (ready) نمیرسد. لاگ با یک خطای RuntimeError از سمت PyTorch به پایان میرسد که در آن عبارت INTERNAL ASSERT FAILED آمده و از کاربر میخواهد باگی در PyTorch ثبت کند. مهندس در پروژهی PyTorch یک گزارش باگ ثبت میکند و پیشنهاد میدهد نسخهی قدیمیتری از PyTorch برای کل ناوگان سرورها تثبیت (pin) شود. جالب اینجاست که همین سرور بدون فلگ اندازهی تکه، تمام بنچمارکهای قبلی را روی همین کارت پردازش کرده است.
- نسخه
- SGLang 0.5.22
- مدل
- Qwen/Qwen3-8B
- سختافزار
- one L4, the first GPU of a two-GPU node
شواهد
- موتور، مدل، کارت گرافیک و تکفلگِ تغییریافته
- شش خط آخر راهاندازی ناموفق
- همان سرور با اندازهی تکهی پیشفرض
- راهاندازی پیشفرض روی همان کارت: استخر حافظه، حافظهی آزاد و ضبط پیشپرکنی
- خط تنظیمات در راهاندازی پیشفرض
- اندازهی تکهی پیشفرض و بزرگترین دستهی رمزگشایی، بر حسب حافظهی GPU
- برداشت راهنما از راهاندازی ناموفق
default-chunk-by-gpu-memory.txt
title: the default chunk and the largest decode batch, by GPU memory
source: manuals/sglang-101/sections/4-1-forwardmode-and-cuda-graphs.md
lines: 50-57
lang: text
note: Find the row for a card of 20 to 35 GB.
---
| GPU memory | Example GPUs | Decode `max_bs` at TP below 4 | At TP 4 or more | `chunked_prefill_size` |
|---|---|---|---|---|
| under 20 GB | T4, RTX 4080 | 8 | 8 | 2048 |
| 20 to 35 GB | A10, RTX 4090, RTX 5090 | 48 | 160 | 4096 |
| 35 to 60 GB | A100 40 GB, L40 | 32 | 160 | 4096 |
| 60 to 90 GB | H100, A100 80 GB | 256 | 512 | 8192 |
| 90 to 160 GB | H200 | 256 | 512 | 8192 |
| 160 GB and more | B200, MI300X | 512 | 512 | 16384 |
default-start-pool-and-capture.txt
title: the default start on the same card: the pool, the free memory and the prefill capture
source: manuals/sglang-101/capture/gpu/out-l4/server-default.log
lines: 19-23
lang: text
note: Read the available memory after the pool, the token count of the first captured shape, and the memory the capture used.
---
[2026-10-17 14:42:45] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 22939, K size: 1.58 GB, V size: 1.58 GB
[2026-10-17 14:42:45] Memory pool end. avail mem=2.86 GB
[2026-10-17 14:42:45] Capture target prefill CUDA graph begin. backend=breakable, num_tokens=[4, 8, 12, 16, 20, 24, 28, 32, 48, 64, 80, 96, 112, 128, 144, 160, 176, 192, 208, 224, 240, 256, 288, 320, 352, 384, 416, 448, 480, 512, 576, 640, 704, 768, 832, 896, 960, 1024, 1280, 1536, 1792, 2048, 2304, 2560, 2816, 3072, 3328, 3584, 3840, 4096], avail mem=2.28 GB
0%| | 0/50 [00:00<?, ?it/s]
Capturing prefill shape (num_tokens=4096 avail_mem=2.28 GB): 0%| | 0/50 [00:00<?, ?it/s]
Capturing prefill shape (num_tokens=4096 avail_mem=2.28 GB): 2%|▏ | 1/50 [00:02<02:13, 2.73s/it]
Capturing prefill shape (num_tokens=3840 avail_mem=1.28 GB): 2%|▏ | 1/50 [00:02<02:13, 2.73s/it]
Capturing prefill shape (num_tokens=3840 avail_mem=1.28 GB): 4%|▍ | 2/50 [00:07<03:16, 4.09s/it]
Capturing prefill shape (num_tokens=3584 avail_mem=1.25 GB): 4%|▍ | 2/50 [00:07<03:16, 4.09s/it]
Capturing prefill shape (num_tokens=3584 avail_mem=1.25 GB): 6%|▌ | 3/50 [00:09<02:20, 2.98s/it]
Capturing prefill shape (num_tokens=3328 avail_mem=1.25 GB): 6%|▌ | 3/50 [00:09<02:20, 2.98s/it]
Capturing prefill shape (num_tokens=3328 avail_mem=1.25 GB): 8%|▊ | 4/50 [00:14<02:50, 3.72s/it]
Capturing prefill shape (num_tokens=3072 avail_mem=1.24 GB): 8%|▊ | 4/50 [00:14<02:50, 3.72s/it]
Capturing prefill shape (num_tokens=3072 avail_mem=1.24 GB): 10%|█ | 5/50 [00:15<02:13, 2.97s/it]
Capturing prefill shape (num_tokens=2816 avail_mem=1.23 GB): 10%|█ | 5/50 [00:15<02:13, 2.97s/it]
Capturing prefill shape (num_tokens=2816 avail_mem=1.23 GB): 12%|█▏ | 6/50 [00:20<02:32, 3.47s/it]
Capturing prefill shape (num_tokens=2560 avail_mem=1.23 GB): 12%|█▏ | 6/50 [00:20<02:32, 3.47s/it]
Capturing prefill shape (num_tokens=2560 avail_mem=1.23 GB): 14%|█▍ | 7/50 [00:23<02:18, 3.23s/it]
Capturing prefill shape (num_tokens=2304 avail_mem=1.22 GB): 14%|█▍ | 7/50 [00:23<02:18, 3.23s/it]
Capturing prefill shape (num_tokens=2304 avail_mem=1.22 GB): 16%|█▌ | 8/50 [00:24<01:48, 2.59s/it]
Capturing prefill shape (num_tokens=2048 avail_mem=1.22 GB): 16%|█▌ | 8/50 [00:24<01:48, 2.59s/it]
Capturing prefill shape (num_tokens=2048 avail_mem=1.22 GB): 18%|█▊ | 9/50 [00:27<01:59, 2.91s/it]
Capturing prefill shape (num_tokens=1792 avail_mem=1.21 GB): 18%|█▊ | 9/50 [00:27<01:59, 2.91s/it]
Capturing prefill shape (num_tokens=1792 avail_mem=1.21 GB): 20%|██ | 10/50 [00:28<01:33, 2.34s/it]
Capturing prefill shape (num_tokens=1536 avail_mem=1.21 GB): 20%|██ | 10/50 [00:28<01:33, 2.34s/it]
Capturing prefill shape (num_tokens=1536 avail_mem=1.21 GB): 22%|██▏ | 11/50 [00:31<01:30, 2.32s/it]
Capturing prefill shape (num_tokens=1280 avail_mem=1.20 GB): 22%|██▏ | 11/50 [00:31<01:30, 2.32s/it]
Capturing prefill shape (num_tokens=1280 avail_mem=1.20 GB): 24%|██▍ | 12/50 [00:32<01:14, 1.97s/it]
Capturing prefill shape (num_tokens=1024 avail_mem=1.19 GB): 24%|██▍ | 12/50 [00:32<01:14, 1.97s/it]
Capturing prefill shape (num_tokens=1024 avail_mem=1.19 GB): 26%|██▌ | 13/50 [00:33<00:57, 1.56s/it]
Capturing prefill shape (num_tokens=960 avail_mem=1.19 GB): 26%|██▌ | 13/50 [00:33<00:57, 1.56s/it]
Capturing prefill shape (num_tokens=960 avail_mem=1.19 GB): 28%|██▊ | 14/50 [00:34<00:57, 1.60s/it]
Capturing prefill shape (num_tokens=896 avail_mem=1.18 GB): 28%|██▊ | 14/50 [00:34<00:57, 1.60s/it]
Capturing prefill shape (num_tokens=896 avail_mem=1.18 GB): 30%|███ | 15/50 [00:35<00:44, 1.28s/it]
Capturing prefill shape (num_tokens=832 avail_mem=1.18 GB): 30%|███ | 15/50 [00:35<00:44, 1.28s/it]
Capturing prefill shape (num_tokens=832 avail_mem=1.18 GB): 32%|███▏ | 16/50 [00:36<00:45, 1.35s/it]
Capturing prefill shape (num_tokens=768 avail_mem=1.17 GB): 32%|███▏ | 16/50 [00:36<00:45, 1.35s/it]
Capturing prefill shape (num_tokens=768 avail_mem=1.17 GB): 34%|███▍ | 17/50 [00:37<00:35, 1.09s/it]
Capturing prefill shape (num_tokens=704 avail_mem=1.17 GB): 34%|███▍ | 17/50 [00:37<00:35, 1.09s/it]
Capturing prefill shape (num_tokens=704 avail_mem=1.17 GB): 36%|███▌ | 18/50 [00:38<00:36, 1.13s/it]
Capturing prefill shape (num_tokens=640 avail_mem=1.16 GB): 36%|███▌ | 18/50 [00:38<00:36, 1.13s/it]
Capturing prefill shape (num_tokens=640 avail_mem=1.16 GB): 38%|███▊ | 19/50 [00:39<00:31, 1.01s/it]
Capturing prefill shape (num_tokens=576 avail_mem=1.15 GB): 38%|███▊ | 19/50 [00:39<00:31, 1.01s/it]
Capturing prefill shape (num_tokens=576 avail_mem=1.15 GB): 40%|████ | 20/50 [00:39<00:23, 1.25it/s]
Capturing prefill shape (num_tokens=512 avail_mem=1.15 GB): 40%|████ | 20/50 [00:39<00:23, 1.25it/s]
Capturing prefill shape (num_tokens=512 avail_mem=1.15 GB): 42%|████▏ | 21/50 [00:40<00:22, 1.30it/s]
Capturing prefill shape (num_tokens=480 avail_mem=1.14 GB): 42%|████▏ | 21/50 [00:40<00:22, 1.30it/s]
Capturing prefill shape (num_tokens=480 avail_mem=1.14 GB): 44%|████▍ | 22/50 [00:40<00:17, 1.64it/s]
Capturing prefill shape (num_tokens=448 avail_mem=1.14 GB): 44%|████▍ | 22/50 [00:40<00:17, 1.64it/s]
Capturing prefill shape (num_tokens=448 avail_mem=1.14 GB): 46%|████▌ | 23/50 [00:41<00:16, 1.61it/s]
Capturing prefill shape (num_tokens=416 avail_mem=1.13 GB): 46%|████▌ | 23/50 [00:41<00:16, 1.61it/s]
Capturing prefill shape (num_tokens=416 avail_mem=1.13 GB): 48%|████▊ | 24/50 [00:41<00:13, 1.95it/s]
Capturing prefill shape (num_tokens=384 avail_mem=1.12 GB): 48%|████▊ | 24/50 [00:41<00:13, 1.95it/s]
Capturing prefill shape (num_tokens=384 avail_mem=1.12 GB): 50%|█████ | 25/50 [00:41<00:13, 1.90it/s]
Capturing prefill shape (num_tokens=352 avail_mem=1.12 GB): 50%|█████ | 25/50 [00:41<00:13, 1.90it/s]
Capturing prefill shape (num_tokens=352 avail_mem=1.12 GB): 52%|█████▏ | 26/50 [00:42<00:11, 2.03it/s]
Capturing prefill shape (num_tokens=320 avail_mem=1.11 GB): 52%|█████▏ | 26/50 [00:42<00:11, 2.03it/s]
Capturing prefill shape (num_tokens=320 avail_mem=1.11 GB): 54%|█████▍ | 27/50 [00:42<00:10, 2.29it/s]
Capturing prefill shape (num_tokens=288 avail_mem=1.11 GB): 54%|█████▍ | 27/50 [00:42<00:10, 2.29it/s]
Capturing prefill shape (num_tokens=288 avail_mem=1.11 GB): 56%|█████▌ | 28/50 [00:43<00:11, 1.91it/s]
Capturing prefill shape (num_tokens=256 avail_mem=1.10 GB): 56%|█████▌ | 28/50 [00:43<00:11, 1.91it/s]
Capturing prefill shape (num_tokens=256 avail_mem=1.10 GB): 58%|█████▊ | 29/50 [00:43<00:09, 2.33it/s]
Capturing prefill shape (num_tokens=240 avail_mem=1.10 GB): 58%|█████▊ | 29/50 [00:43<00:09, 2.33it/s]
Capturing prefill shape (num_tokens=240 avail_mem=1.10 GB): 60%|██████ | 30/50 [00:44<00:08, 2.36it/s]
Capturing prefill shape (num_tokens=224 avail_mem=1.09 GB): 60%|██████ | 30/50 [00:44<00:08, 2.36it/s]
Capturing prefill shape (num_tokens=224 avail_mem=1.09 GB): 62%|██████▏ | 31/50 [00:44<00:07, 2.71it/s]
Capturing prefill shape (num_tokens=208 avail_mem=1.08 GB): 62%|██████▏ | 31/50 [00:44<00:07, 2.71it/s]
Capturing prefill shape (num_tokens=208 avail_mem=1.08 GB): 64%|██████▍ | 32/50 [00:44<00:05, 3.20it/s]
Capturing prefill shape (num_tokens=192 avail_mem=1.08 GB): 64%|██████▍ | 32/50 [00:44<00:05, 3.20it/s]
Capturing prefill shape (num_tokens=192 avail_mem=1.08 GB): 66%|██████▌ | 33/50 [00:44<00:05, 3.21it/s]
Capturing prefill shape (num_tokens=176 avail_mem=1.07 GB): 66%|██████▌ | 33/50 [00:44<00:05, 3.21it/s]
Capturing prefill shape (num_tokens=176 avail_mem=1.07 GB): 68%|██████▊ | 34/50 [00:44<00:04, 3.77it/s]
Capturing prefill shape (num_tokens=160 avail_mem=1.07 GB): 68%|██████▊ | 34/50 [00:44<00:04, 3.77it/s]
Capturing prefill shape (num_tokens=160 avail_mem=1.07 GB): 70%|███████ | 35/50 [00:45<00:04, 3.63it/s]
Capturing prefill shape (num_tokens=144 avail_mem=1.06 GB): 70%|███████ | 35/50 [00:45<00:04, 3.63it/s]
Capturing prefill shape (num_tokens=144 avail_mem=1.06 GB): 72%|███████▏ | 36/50 [00:45<00:03, 4.19it/s]
Capturing prefill shape (num_tokens=128 avail_mem=1.06 GB): 72%|███████▏ | 36/50 [00:45<00:03, 4.19it/s]
Capturing prefill shape (num_tokens=128 avail_mem=1.06 GB): 74%|███████▍ | 37/50 [00:45<00:03, 4.20it/s]
Capturing prefill shape (num_tokens=112 avail_mem=1.04 GB): 74%|███████▍ | 37/50 [00:45<00:03, 4.20it/s]
Capturing prefill shape (num_tokens=112 avail_mem=1.04 GB): 76%|███████▌ | 38/50 [00:45<00:02, 4.76it/s]
Capturing prefill shape (num_tokens=96 avail_mem=1.03 GB): 76%|███████▌ | 38/50 [00:45<00:02, 4.76it/s]
Capturing prefill shape (num_tokens=96 avail_mem=1.03 GB): 78%|███████▊ | 39/50 [00:45<00:02, 5.36it/s]
Capturing prefill shape (num_tokens=80 avail_mem=1.03 GB): 78%|███████▊ | 39/50 [00:45<00:02, 5.36it/s]
Capturing prefill shape (num_tokens=80 avail_mem=1.03 GB): 80%|████████ | 40/50 [00:46<00:01, 5.57it/s]
Capturing prefill shape (num_tokens=64 avail_mem=1.02 GB): 80%|████████ | 40/50 [00:46<00:01, 5.57it/s]
Capturing prefill shape (num_tokens=64 avail_mem=1.02 GB): 82%|████████▏ | 41/50 [00:46<00:01, 6.10it/s]
Capturing prefill shape (num_tokens=48 avail_mem=1.02 GB): 82%|████████▏ | 41/50 [00:46<00:01, 6.10it/s]
Capturing prefill shape (num_tokens=48 avail_mem=1.02 GB): 84%|████████▍ | 42/50 [00:46<00:01, 6.06it/s]
Capturing prefill shape (num_tokens=32 avail_mem=1.01 GB): 84%|████████▍ | 42/50 [00:46<00:01, 6.06it/s]
Capturing prefill shape (num_tokens=32 avail_mem=1.01 GB): 86%|████████▌ | 43/50 [00:46<00:01, 6.54it/s]
Capturing prefill shape (num_tokens=28 avail_mem=1.00 GB): 86%|████████▌ | 43/50 [00:46<00:01, 6.54it/s]
Capturing prefill shape (num_tokens=28 avail_mem=1.00 GB): 88%|████████▊ | 44/50 [00:46<00:00, 6.29it/s]
Capturing prefill shape (num_tokens=24 avail_mem=1.00 GB): 88%|████████▊ | 44/50 [00:46<00:00, 6.29it/s]
Capturing prefill shape (num_tokens=24 avail_mem=1.00 GB): 90%|█████████ | 45/50 [00:46<00:00, 6.53it/s]
Capturing prefill shape (num_tokens=20 avail_mem=0.99 GB): 90%|█████████ | 45/50 [00:46<00:00, 6.53it/s]
Capturing prefill shape (num_tokens=20 avail_mem=0.99 GB): 92%|█████████▏| 46/50 [00:46<00:00, 6.92it/s]
Capturing prefill shape (num_tokens=16 avail_mem=0.99 GB): 92%|█████████▏| 46/50 [00:46<00:00, 6.92it/s]
Capturing prefill shape (num_tokens=16 avail_mem=0.99 GB): 94%|█████████▍| 47/50 [00:47<00:00, 6.08it/s]
Capturing prefill shape (num_tokens=12 avail_mem=0.98 GB): 94%|█████████▍| 47/50 [00:47<00:00, 6.08it/s]
Capturing prefill shape (num_tokens=12 avail_mem=0.98 GB): 96%|█████████▌| 48/50 [00:47<00:00, 6.64it/s]
Capturing prefill shape (num_tokens=8 avail_mem=0.98 GB): 96%|█████████▌| 48/50 [00:47<00:00, 6.64it/s]
Capturing prefill shape (num_tokens=8 avail_mem=0.98 GB): 98%|█████████▊| 49/50 [00:47<00:00, 6.68it/s]
Capturing prefill shape (num_tokens=4 avail_mem=0.97 GB): 98%|█████████▊| 49/50 [00:47<00:00, 6.68it/s]
Capturing prefill shape (num_tokens=4 avail_mem=0.97 GB): 100%|██████████| 50/50 [00:47<00:00, 7.10it/s]
Capturing prefill shape (num_tokens=4 avail_mem=0.97 GB): 100%|██████████| 50/50 [00:47<00:00, 1.05it/s]
[2026-10-17 14:43:33] Capture target prefill CUDA graph end. elapsed=48.33 s, mem usage=0.83 GB, avail mem=1.45 GB.
default-start-settings-line.txt
title: the settings line of the default start
source: manuals/sglang-101/capture/gpu/out-l4/server-default.log
lines: 27-27
lang: text
note: Read chunked_prefill_size and available_gpu_mem.
---
[2026-10-17 14:43:36] max_total_num_tokens=22939, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=2048, context_len=40960, available_gpu_mem=1.31 GB
the-control.txt
title: the same server with the default chunk
source: manuals/sglang-101/capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt
lines: 10-10
lang: text
note: One sentence from the incident record.
---
With the default chunk of 4096, the same server on the same card started and served every run.
the-failed-start.txt
title: the last six lines of the failed start
source: manuals/sglang-101/capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt
lines: 3-8
lang: text
note: Read the line that starts with Capturing and the line below it before you read the PyTorch assert.
---
[2026-10-18 07:27:15] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 07:27:15] Memory pool end. avail mem=2.90 GB
Capturing prefill shape (num_tokens=8192 avail_mem=2.33 GB)
torch.AcceleratorError: CUDA error: out of memory
[2026-10-18 07:28:44] RuntimeError: num_active_captures_ > 0 INTERNAL ASSERT FAILED at "/__w/pytorch/pytorch/c10/cuda/CUDACachingAllocator.cpp":3209, please report a bug to PyTorch. markCaptureEnd called with no captures in progress
[2026-10-18 07:28:45] Received sigquit from a child process. It usually means the child failed.
the-manual-reading.txt
title: how the manual reads the failed start
source: manuals/sglang-101/sections/2-2-the-scheduler-loop-and-schedule-policy.md
lines: 156-156
lang: text
note: One paragraph. The real error is not the last line of the log.
---
The other direction failed on the L4 at startup. With a chunk of 8,192, the KV pool took the same 24,094 tokens as before. The prefill graph for 8,192 tokens then needed more than the 2.33 GB that remained. The last line of the log is a PyTorch assert that asks for a bug report. The real error is the out-of-memory line above it.
the-settings.txt
title: the engine, the model, the card and the one changed flag
source: manuals/sglang-101/capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt
lines: 1-1
lang: text
note: The chunk is the only setting that differs from the default start.
---
sglang 0.5.22, Qwen/Qwen3-8B, one NVIDIA L4 (22 GB), --chunked-prefill-size 8192, default --mem-fraction-static for the card
سؤالها
- خط آخر پیام خواسته باگی در PyTorch ثبت شود. خطای واقعی در کدام خط قرار دارد، و چطور میتوان در این لاگ علت را از معلول تشخیص داد؟
- ظرفیت استخر حافظه (pool) در راهاندازی ناموفق و در آزمونهای ارزیابی جامع (sweep) یکسان است. پس این حافظه کجا رفته است؟
- کدام گام راهاندازی بعد از استخر اجرا میشود و به حافظهای خارج از آن نیاز دارد؟ تغییر اندازهی تکه چه تأثیری بر نیاز حافظهی این گام میگذارد؟
- در راهاندازی پیشفرض، همین گام روی همین کارت ضبط (capture) شد. اولین شکلِ (shape) ضبطشده چقدر حافظه مصرف کرد و در شروع چقدر حافظه باقی مانده بود؟
- اگر تیم همچنان بخواهد تکهی 8192تایی را نگه دارد، تغییر کدام فلگ جا باز میکند و به کدام فلگ اصلاً نباید دست بزنند؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- از خط assert به سمت بالا بخوانید و روی اولین خطا توقف کنید. دو خط بالاتر از assert کتابخانهی PyTorch، خطای
torch.AcceleratorError: CUDA error: out of memoryدیده میشود. عبارتmarkCaptureEnd called with no captures in progressدر assert، پیامی است که تخصیصدهندهی حافظه (allocator) بعد از قطع ناگهانی ضبط گراف (graph capture) بهدلیل خطای کمبود حافظه میدهد. سپس اسکژولر سیگنال SIGQUIT را از فرایند فرزندش دریافت کرده است. مستندات راهنما هم دقیقاً همین را نشان میدهد: خطای واقعی همان خط کمبود حافظه است و assert صرفاً پیامد آن است. - بررسی کنید استخر چه میزان حافظه گرفته است. راهاندازی ناموفق استخری به ظرفیت 24,094 توکن تخصیص داد که سهم هر یک از K و V برابر 1.65 GB بود؛ یعنی دقیقاً همان استخری که سرورهای آزمون روی این کارت داشتند. بعد از تخصیص استخر، 2.90 GB حافظهی آزاد باقی ماند. بنابراین، استخر همراه با تکهی پیشپرکنی بزرگتر نشده و حافظهای که تمام شد، بیرون از استخر بوده است.
- گامی را که شکست خورده پیدا کنید. خط
Capturing prefill shape (num_tokens=8192 avail_mem=2.33 GB)صراحتاً نام آن را میآورد. از وقتی گراف شکستپذیر (breakable graph) برای پیشپرکنی به بیلدهای CUDA اضافه شد، فرایند راهاندازی برای هر شکل تا سقف اندازهی تکه، یک گراف پیشپرکنی ضبط میکند. بزرگترین شکل، خودِ اندازهی تکه است. ضبط گرافی با 8192 توکن باید اکتیویشنهای یک پیشپرکنی 8192 توکنی را نگه دارد، و این کار به فضایی بیشتر از 2.33 GB باقیمانده نیاز داشت. - با اجرای موفق مقایسه کنید. راهاندازی پیشفرض روی همین کارت، همان توالی را با شکلی کوچکتر نشان میدهد. استخر آن در آن روز 22,939 توکن ظرفیت داشت، 2.86 GB پس از استخر آزاد بود، و اولین شکل ضبطشده
num_tokens=4096با 2.28 GB حافظهی دردسترس شروع شد. آن ضبط پس از 48.33 ثانیه تمام شد؛ 0.83 GB مصرف کرد و 1.45 GB همچنان آزاد ماند. وقتی توکنهای ضبطشده دو برابر شدند، حافظهای بیشتر از کل باقیمانده نیاز بود. - ببینید مقدار پیشفرض از کجا میآید. جدول صفحهی CUDA graphs، برای کارتی با 20 تا 35 GB حافظه، تکهی 4096 را مشخص کرده و 8192 را فقط برای کارتهای 60 GB به بالا گذاشته است. مقدار پیشفرض متناسب با حافظهای اندازه گرفته شده که یک ضبط میتواند روی آن کارت انتظار داشته باشد. صفحهی اسکژولر تغییرات تکه را روی GB10 اندازه گرفت و دید در نرخهای 1 و 2 درخواست بر ثانیه هیچ بهبودی حاصل نشد، و در نرخ 0.5 هم تکهی کوچکتر باعث افت کارایی شد. روی کارت L4 تکهی بزرگتر اصلاً راه نیفتاد، بنابراین هیچ سنجشی از بهبود کارایی آن وجود ندارد.
نتیجه
گزارش باگ PyTorch را ببندید. این assert صرفاً نشانهی ضبطی است که با یک خطای کمبود حافظه قطع شده، و علت اصلی هم گراف پیشپرکنی برای 8192 توکن روی کارتی است که بعد از تخصیص استخر فقط 2.33 GB حافظه دارد. تیم اندازهی پیشفرض 4096 را نگه داشت و همان سرور، روی همان کارت، راه افتاد و تمام اجراها را سرویس داد؛ یعنی همان حالت کنترلی که در گزارش حادثه آمده است.
اگر همچنان تکهی بزرگتری روی این کارت میخواهید، بهجای حذف ضبط گراف، فضا را برای آن باز کنید. مقدار --mem-fraction-static را یک پله پایین بیاورید تا استخر کوچکتر شود و ضبط به بیش از 2.33 GB فضا دسترسی داشته باشد؛ سپس خط Capture target prefill CUDA graph end را ببینید تا مشخص شود ضبط چقدر حافظه مصرف کرده است. صفحهی CUDA graphs ترتیب درست را مشخص کرده است: حافظهی ضبط را با یک دستهی گراف کوچکتر یا ضریب حافظهی کمتر تنظیم کنید و گرافها را روشن نگه دارید. سپس پیش از اعمال نهایی تغییرات، زمان رسیدن اولین توکن را در طول پرامپتهای تیم با هر دو تکه بسنجید؛ چون مستندات نشان داد روی سیستمی که امکان اجرای هر دو حالت بود، تغییر تکه هیچ بهبودی ایجاد نکرد.
مسیرهای اشتباه رایج
- «نسخهی قدیمیتر PyTorch را تثبیت کنیم، چون assert گفته باگ ثبت کنید.» این assert فقط یک ضبط نیمهکاره را نشان میدهد. خطای کمبود حافظه در دو خط بالاتر علت اصلی است، و نسخهی قدیمیتر PyTorch هیچ تأثیری روی حافظهی آزاد ندارد.
- «کسر حافظه را بالا ببریم تا حافظهی بیشتری به ضبط برسد.» این ضریب، حافظه را به وزنها و استخر میدهد. بالا بردن آن، فضای باقیمانده برای ضبط را کمتر میکند. باید آن را پایین بیاورید.
- «گرافهای CUDA را خاموش کنیم و همان تکهی بزرگ را نگه داریم.» سروری که گراف رمزگشایی (decode) نداشته باشد، روی تکتک توکنها برای همهی کاربران هزینهی تأخیر راهاندازی هسته میدهد. حافظهی ضبط را درست کنید و گرافها را روشن نگه دارید.
- «تکهی بزرگتر همیشه پیشپرکنی را سریعتر میکند، پس ارزش مصرف حافظه را دارد.» مستندات اندازههای تکه را روی GB10 سنجید و دید که در نرخهای 1 و 2 درخواست بر ثانیه، تفاوت سه حالت درون بازهی تصادفی (seed spread) یکدیگر قرار دارد. پیش از هزینه دادن، بسنجید.
درس کلی
وقتی لاگ راهاندازی به یک assert از یک کتابخانه ختم میشود، به سمت بالا بخوانید تا به اولین خطا برسید؛ چون کتابخانهها اغلب دومین قربانی هستند. بعد بپرسید خطا در کدام گام رخ داد و حافظهی آن گام به چه چیزی وابسته است. فلگی که شکل ورودی را عوض میکند، مثل اندازهی تکه یا اندازهی دستهی گراف، حافظهی ضبطی را که از آن شکل استفاده میکند تغییر میدهد؛ و استخری که کسر حافظه اندازهاش را تعیین کرده، جا باز نمیکند. روی یک کارت کوچک، تکهی پیشفرض تصمیمی برای حافظه است، نه تصمیمی برای سرعت.
کجای دوره آموزش داده میشود
صفحهی اسکژولر در SGLang 101 این راهاندازی ناموفق را در بخش پیشپرکنی تکهای (Chunked Prefill) ثبت کرده است؛ بخش ضبط گراف تکهی پیشفرض بر حسب حافظهی GPU و قاعدهی حافظهی ضبط را توضیح میدهد؛ و صفحهی حافظه روشن میکند که کسر حافظه چطور رم را بین استخر و باقی بخشها تقسیم میکند.