وضعیت
تیمی مدل Qwen/Qwen3-8B را روی یک کارت L4 سرو میکند و ظرفیت پردازشی بیشتری میخواهد. روی نود یک کارت L4 دیگر هم وجود دارد، بنابراین تصمیم میگیرند از هر دو استفاده کنند. اولین تلاش اجرای --tp-size 2 است. سرور دو ثانیه پس از فعالشدن NCCL با یک RuntimeError متوقف میشود؛ با این پیام که ظرفیت حافظه نامتعادل است و احتمالاً برخی از GPUها را فرایندهای دیگری اشغال کردهاند. بررسی سریع نود نشان میدهد دو پاد (pod) کوچک از تیمی دیگر روی کارت دوم اجرا میشوند.
تلاش دوم با --dp-size 2 انجام میشود؛ یعنی دو نسخه از مدل پشت یک کنترلکننده. سرور بالا میآید و تیم تست بار پلکانی خود را اجرا میکند. در بار 64 کاربر همزمان، این جفتکارت در هر ثانیه خروجی کمتری نسبت به حالت تککارت تحویل میدهد و رسیدن به اولین توکن هم چندین ثانیه طول میکشد. مهندسی از تیم دیگر حدس میزند خود نود نیمهخراب است و درخواست ثبت تیکت سختافزاری میدهد. از شما خواسته میشود پیش از هر کاری لاگها را بررسی کنید.
- نسخه
- SGLang 0.5.22
- مدل
- Qwen/Qwen3-8B
- سختافزار
- a node with two L4 GPUs, the second shared with another team's pods
شواهد
- وضعیت کارت گرافیک دوم، دقایقی پیش از راهاندازی
- راهاندازی موازیسازی تنسور، دو ثانیه پس از فعالشدن NCCL
- راهاندازی موازیسازی داده: وزنها و استخر هر رتبه
- چهار خط رمزگشایی از دو رتبه زیر بار 64 درخواست
- بررسی موازیسازی تنسور چه چیزی را میسنجد و چرا این رفتار درست است
- چگونه روش پیشفرض توازن بار، نسخه کوچک را پر کرد
- همان جفتکارت هنگام مسیریابی بر اساس تعداد توکن
dp2-two-pools.txt
title: the data parallel start: the weights and the pool of each rank
source: manuals/sglang-101/capture/gpu/out-l4/server-dp2.log
lines: 1-6
lang: text
note: Compare the available memory after the weights and the token count of the two pools.
---
[2026-10-17 05:26:45 DP0] Load weight end. elapsed=3.61 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
[2026-10-17 05:26:45 DP1] Load weight end. elapsed=3.73 s, type=Qwen3ForCausalLM, avail mem=3.17 GB, mem usage=15.28 GB.
[2026-10-17 05:26:46 DP0] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-17 05:26:46 DP1] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 2925, K size: 0.20 GB, V size: 0.20 GB
[2026-10-17 05:27:19 DP0] max_total_num_tokens=24094, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=2048, context_len=40960, available_gpu_mem=1.36 GB
[2026-10-17 05:28:30 DP1] max_total_num_tokens=2925, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=1462, context_len=40960, available_gpu_mem=0.94 GB
dp2-under-load.txt
title: four decode lines of the two ranks under a load of 64 requests
source: manuals/sglang-101/capture/gpu/out-l4/server-dp2.log
lines: 7-10
lang: text
note: Compare running requests, token usage, generation throughput and the queue of each rank.
---
[2026-10-17 07:26:50 DP1] Decode batch, #running-req: 4, #token: 2385, token usage: 0.82, cuda graph: True, gen throughput (token/s): 25.48, #queue-req: 59
[2026-10-17 07:26:53 DP0] Decode batch, #running-req: 1, #token: 590, token usage: 0.02, cuda graph: True, gen throughput (token/s): 9.67, #queue-req: 0
[2026-10-17 07:26:56 DP1] Decode batch, #running-req: 4, #token: 2545, token usage: 0.87, cuda graph: True, gen throughput (token/s): 25.79, #queue-req: 59
[2026-10-17 07:26:59 DP0] Decode batch, #running-req: 3, #token: 1665, token usage: 0.07, cuda graph: True, gen throughput (token/s): 9.49, #queue-req: 0
routed-by-tokens.txt
title: the same pair with requests routed by token count
source: manuals/sglang-101/sections/6-1-tp-size-dp-size-and-attn-dp-size.md
lines: 169-169
lang: text
note: Compare the three throughput numbers at 64 users, and read the clock caution.
---
At 64 users the pair gave 114.7 tok/s routed by tokens, against 41.7 with round robin and 250.9 on one L4. At 8 users it gave 92.1 against 64.2 and 112.6. The median TTFT at 64 users fell from 4,763 to 3,977 ms. The median clock at 64 users was 1,020 MHz, against 675 MHz in the round-robin run. So part of the gain can be the card.
the-check-and-the-rule.txt
title: what the tensor parallel check does, and why it is right
source: manuals/sglang-101/sections/6-1-tp-size-dp-size-and-attn-dp-size.md
lines: 113-115
lang: text
note: Two paragraphs from the manual.
---
Before it loads weights, each rank measures its free memory, and the group keeps the smallest value. If that value is less than 90 percent of the local free memory, the server stops {{code}}. The second card had 18.28 GB free against the 19.53 GB that the check required. No flag turns the check off at v0.5.22.
The check is right to stop. Each rank of a TP group holds the same share of weights and the same pool. The smallest card sets the size for all of them. On a shared machine, give a TP group whole GPUs. `--dp-size 2` does not have this check, because each copy sizes its own pool, so it started on the same pair.
the-other-tenant.txt
title: what the second GPU held minutes before the start
source: manuals/sglang-101/capture/gpu/incidents/l4-tp-unbalanced-memory.txt
lines: 1-5
lang: text
note: Read the memory used on each GPU and the two processes that held it.
---
# sglang serve --tp-size 2 on two L4s while two other pods held 3.5 GB of GPU1
# nvidia-smi --query-gpu=index,memory.used,utilization.gpu, 2026-10-17, read minutes before the start
0, 0 MiB, 0 %
1, 3506 MiB, 55 %
# GPU1 compute apps: two pods running python3 "CUDA vGPU Slice Diagnostics", 1746 MiB each
tp2-refused.txt
title: the tensor parallel start, two seconds after NCCL came up
source: manuals/sglang-101/capture/gpu/incidents/l4-tp-unbalanced-memory.txt
lines: 7-12
lang: text
note: The RuntimeError gives three numbers: the free memory before loading, the local GPU memory and 90 percent of it.
---
# runs/l4/load/tp2/server.log, lines after the NCCL version
[2026-10-17 05:22:01 TP0] sglang is using nccl==2.30.7
[2026-10-17 05:22:03 TP0] Scheduler hit an exception: Traceback (most recent call last):
raise RuntimeError(msg)
RuntimeError: The memory capacity is unbalanced. Some GPUs may be occupied by other processes. pre_model_load_memory=18.28375244140625, local_gpu_memory=21.70391845703125, local_gpu_memory * 0.9=19.533526611328124
[2026-10-17 05:22:03] Received sigquit from a child process. It usually means the child failed.
what-round-robin-did.txt
title: how the default load balancing method filled the small copy
source: manuals/sglang-101/sections/6-1-tp-size-dp-size-and-attn-dp-size.md
lines: 137-139
lang: text
note: Read how many requests sat on the small copy at a concurrency of 64.
---
The second card had 3.17 GB free after the weights, against 6.59 GB on the first, because the two pods held the rest. **We measured** a pool of 2,925 tokens on that copy, an eighth of the first. Four requests of 640 tokens fill it.
The controller still sent every second request to that copy, because `round_robin` does not look at pools or queues. The benchmark keeps 64 requests open at a time. At concurrency 64, 63 of them sat on the small copy, 4 running and 59 waiting. The large copy had one to three requests and used 2 to 7 percent of its pool. The client could not send it more work until the small copy gave a slot back.
سؤالها
- اعتبارسنجی موازیسازی تنسور (Tensor Parallelism) چه مقادیری را مقایسه میکند، و چرا راهاندازی موازیسازی داده (Data Parallelism) در جایی که اولی شکست خورد موفق شد؟
- هر دو نسخه وزنهای یکسانی بارگذاری کردند. چرا استخر یکی از آنها یکهشتم دیگری است؟
- زیر بار پردازشی، صف درخواستها روی کدام رتبه (rank) انباشته شد و کدامیک تقریباً بیکار ماند؟ کدام تنظیم پیشفرض بار را به آن سمت فرستاد؟
- آیا دو نسخه با استخرهای برابر، ظرفیت را دو برابر میکردند؟ پیش از ادعای چنین چیزی چه متغیری را بررسی میکردید؟
- دو راهحل نام ببرید که هر دو کارت را حفظ کند و یک راهحل که کارت دوم را کنار بگذارد؛ مشخص کنید کتابچه راهنما کدامیک را اندازه گرفته است.
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی خطای اعتبارسنجی در موازیسازی تنسور. هر رتبه پیش از بارگذاری وزنها، حافظه آزاد خود را اندازه میگیرد و کل گروه، کمترین مقدار را مبنا قرار میدهد. اگر این مقدار کمتر از 90 درصد حافظه آزاد محلی باشد، سرور متوقف میشود. لاگ خطا سه عدد را چاپ میکند: حافظه آزاد پیش از بارگذاری (18.28 GB)، حافظه محلی کارت، و خط معیار یعنی 90 درصد از حافظه محلی (19.53 GB). روی کارت دوم، دو پاد با مصرف 1,746 MiB (در مجموع 3,506 MiB) در حال اجرا بودند و همین مصرف حافظه را به زیر این خط رساند. در این نسخه هیچ فلگی این بررسی را خاموش نمیکند. توقف سرور کاملاً درست است؛ چرا که در موازیسازی تنسور، تمام رتبههای یک گروه سهم یکسانی از وزنها و استخر دارند، بنابراین کوچکترین کارت اندازه استخر را به هر دو تحمیل میکند.
- علت بالا آمدن موازیسازی داده. هر نسخه اندازه استخر خود را جداگانه تعیین میکند و خبری از بررسی تعادل نیست. هر دو رتبه 15.28 GB وزن بارگذاری کردند. سپس برای رتبه 0 مقدار 6.59 GB و برای رتبه 1 مقدار 3.17 GB حافظه آزاد ماند، زیرا پادها بقیه آن را اشغال کرده بودند. در نتیجه، اندازه استخرها 24,094 توکن (token) در برابر 2,925 توکن از آب درآمد. تنها چهار درخواست 640 توکنی کافی است تا استخر کوچک پر شود.
- بررسی چهار خط لاگ رمزگشایی (decode). رتبه 1 مشغول پردازش 4 درخواست با ضریب مصرف توکن بین 0.82 تا 0.87 بود، حدود 25 توکن در ثانیه تولید میکرد و 59 درخواست در صف انتظار داشت. رتبه 0 بین 1 تا 3 درخواست را با مصرف 0.02 تا 0.07 پردازش میکرد، کمتر از 10 توکن در ثانیه خروجی میداد و صف آن خالی بود. روش پیشفرض کنترلکننده یعنی
auto، خارج از حالت تفکیک (disaggregation) بهround_robinتبدیل میشود و نوبتگردشی (round-robin) توجهی به استخرها یا صفها ندارد. از آنجا که بنچمارک 64 درخواست را همزمان باز نگه میدارد، 63 تای آنها روی نسخه کوچک ماندند (4 در حال اجرا و 59 در صف انتظار)؛ تا زمانی هم که نسخه کوچک جایگاهی (slot) آزاد نمیکرد، کلاینت نمیتوانست کار بیشتری به نسخه بزرگ بفرستد. - اندازهگیری میزان افت. در بار 64 کاربر، این جفتکارت 41.7 توکن در ثانیه تولید کرد، در حالی که تککارت L4 به نرخ 250.9 رسیده بود. میانه زمان P99 تا اولین توکن در سه سید (seed) مختلف برای این جفتکارت 391 ثانیه بود، در مقابل 33.4 ثانیه برای تککارت L4. علاوه بر این، کلاک جفتکارت در دو بار سنگین روی 765 و 675 MHz (پایینتر از کف استاندارد کلاک) کار کرد، در حالی که کارت تکی با فرکانس 1,320 و 1,080 MHz فعال بود؛ بخشی از افت کارایی به همین کلاک برمیگردد. حتی تا بار 4 کاربر هم این جفت بین 16 تا 41 درصد کندتر عمل میکرد، که کتابچه راهنما دلیل تفکیکشدهای برای آن ارائه نداده است.
- راهحل اندازهگیریشده در کتابچه راهنما. با تنظیم
--load-balance-method total_tokens، هر درخواست به نسخهای میرود که کمترین توکن را در خود دارد. همان جفتکارت نامتوازن با این روش در بار 64 کاربر به 114.7 توکن در ثانیه رسید (در برابر 41.7 با نوبتگردشی و 250.9 روی یک کارت)، و میانه زمان تا اولین توکن از 4,763 به 3,977 میلیثانیه کاهش یافت. کلاک پردازنده در آن اجرا 1,020 MHz بود (در برابر 675 MHz قبل)، بنابراین بخشی از این بهبود میتواند ناشی از کارت باشد. راهنما جفتی با استخرهای برابر یا دو سرور پشت یک درگاه وزندار را اندازه نگرفته است. انتظار آن این است که موازیسازی داده تنها زمانی ظرفیت اضافه میکند که همه نسخهها استخر تقریباً برابری داشته باشند.
نتیجه
نود سالم است. کارت دوم مستأجر دیگری دارد و هر یک از چینشها به شیوه خود به این واقعیت پاسخ دادند: بررسی تعادل جلوی چینش اول را پیش از بارگذاری گرفت، و چینش دوم نیز استخری با 2,925 توکن به نسخه دوم داد و سپس نیمی از درخواستها را به سمت آن فرستاد. تیم برای ترافیک محیط عملیاتی (production) به همان یک کارت L4 بازگشت، چون در تمام سطوح بار عملکرد بهتری از جفتکارت داشت، و درخواست کرد پادها جابهجا شوند. پس از در اختیار گرفتن کامل دو کارت، آنها دوباره --dp-size 2 را راه میاندازند و تنها زمانی آن را میپذیرند که خطوط #tokens در رتبههای DP0 و DP1 مقادیر تقریباً یکسانی نشان دهند.
دو خط رمزگشایی شواهد (evidence) این تحلیل هستند: رتبهای با استخر کوچک 59 درخواست منتظر در صف داشت، در حالی که رتبه با استخر بزرگ فقط از 2 تا 7 درصد ظرفیتش استفاده میکرد. مسیریابی (routing) بر اساس تعداد توکن نرخ پردازش (throughput) این جفت را در بار 64 کاربر از 41.7 به 114.7 توکن در ثانیه رساند و همچنان از تککارت عقب ماند؛ بنابراین اندازه استخر محدودیت اصلی است که باید حل شود، نه مسیریاب (router).
مسیرهای اشتباه رایج
- «موازیسازی تنسور رد شد، پس از موازیسازی داده استفاده کنید که بالا میآید.» بالا آمدن به معنی سرویسدهی نیست. همیشه پیش از تست بار، خط
#tokensهر رتبه را بخوانید؛ هر نسخه استخر خود را مستقل تعیین میکند و کسی آنها را با هم تطبیق نمیدهد. - «کسر حافظه را کم کنید تا اعتبارسنجی موازیسازی تنسور عبور کند.» این بررسی حافظه آزاد پیش از بارگذاری وزنها را میسنجد، نه کسر حافظه را. در هر صورت کارت کوچکتر اندازه استخر را برای هر دو رتبه تعیین میکرد.
- «نوبتگردشی عادلانه است، پس افت ناشی از سختافزار است.» نوبتگردشی کاری به اندازه استخر یا طول صفها ندارد. در 64 درخواست باز، 63 تای آنها روی نسخهای با استخر کوچک افتادند.
- «مسیریابی را درست کنید تا دو نسخه نرخ پردازش را دو برابر کنند.» با مسیریابی بر اساس توکن، این جفت به 114.7 توکن در ثانیه رسید که در برابر 250.9 توکن تککارت کمتر است. استخر کوچک همچنان سر جایش بود و بخشی از این بهبود هم ناشی از کلاک بالاتر بود.
درس کلی
چینش موازی قولی است بر اینکه هر عضو سهم برابری از بار را به دوش میکشد. موازیسازی تنسور این قول را پیش از بارگذاری بررسی میکند و اگر کارتی کمبود داشته باشد متوقف میشود. موازیسازی داده این بررسی را انجام نمیدهد و به هر نسخه هر چه از کارتش مانده اختصاص میدهد؛ بنابراین کارت اشتراکی تبدیل به نسخهای کوچک میشود که یک مسیریاب کور اول از همه آن را پر میکند. پیش از اضافه کردن یک GPU، ببینید چه فرایندهای دیگری روی آن هستند، و پس از راهاندازی، خط استخر هر رتبه را بخوانید. ظرفیتی که برابری تکتک رتبههای آن را تأیید نکرده باشید، حسابی است که جور درنمیآید.
کجای دوره آموزش داده میشود
صفحه موازیسازی در SGLang 101 هر دو راهاندازی و رفع مشکل مسیریابی را در اتفاقات رخداده روی دو کارت L4 و افت کارایی موازیسازی داده روی همان جفتکارت ثبت کرده است؛ صفحه حافظه نیز دلیل تعیین اندازه استخر بر اساس حافظه آزاد هر کارت را در شیوه تقسیمبندی حافظه در SGLang توضیح میدهد.