موازیسازی تنسور مدل را در حافظه جا میدهد، موازیسازی داده ظرفیت پردازش را بالا میبرد، و موازیسازی دادهی اتنشن کپیهای اضافی کش KV را که در موازیسازی تنسور برای مدلهای MLA ایجاد میشود حذف میکند.
فرض کنید 8 کارت GPU و یک مدل بزرگ دارید. اولین دستوری که اغلب افراد اجرا میکنند --tp-size 8 است و مدل هم بارگذاری میشود. سپس یکی از همتیمیها میپرسد چرا این سرور با داشتن 640 گیگابایت حافظه، توکنهای بسیار کمی را در کش کلید-مقدار (KV cache) برای یک مدل DeepSeek نگه میدارد؟ پاسخ در نحوهی خرد کردن یک مدل روی چند GPU توسط SGLang، و در فلگی نهفته است که کارکردش در نسخهی v0.5.22 تغییر کرد.
وقتی این بخش را تمام کنید، میتوانید متناسب با مدل و تعداد GPUهایتان، مقادیر مناسب --tp-size، --dp-size و --attn-dp-size را انتخاب کنید. علاوه بر این، مشخص خواهید کرد کدام GPUها چه کاری را مشترک انجام میدهند و میتوانید پیکربندیهای قدیمیتری را که از --enable-dp-attention استفاده میکردند تحلیل کنید.
یک جهان، و روشهای گوناگون تقسیم آن
جهان مدل (Model world): مجموعهای از GPUها که در کنار هم یک نسخهی کامل از مدل را نگهداری میکنند. SGLang این جهان را فقط بر اساس دو عدد میسازد. اگر اندازهی جهان (world size) برابر با حاصلضرب tp_size در pp_size نباشد، کد با خطا متوقف میشود {{code}}.
موازیسازی تنسور (Tensor Parallelism یا TP): ماتریسهای وزن هر لایه به --tp-size اسلایس تقسیم میشوند؛ یعنی یک اسلایس به ازای هر GPU. در پایان هر لایه، یک عمل اشتراکی (collective) این اسلایسها را به هم پیوند میدهد. موازیسازی پایپلاین (Pipeline Parallelism یا PP): لایههای کامل مدل بهترتیب روی GPUهای مختلف قرار میگیرند و فلگ --pp-size تعداد مراحل (stages) را مشخص میکند.
تمام سازوکارهای دیگر، همین جهان مدل را بازتقسیم میکنند. موازیسازی دادهی اتنشن، موازیسازی متخصصان (Expert parallelism) و موازیسازی زمینه (Context parallelism) هیچ GPU جدیدی اضافه نمیکنند؛ بلکه GPUهای درون همان گروه TP را برای لایههای مختلف بهشکلی متفاوت بازآرایی میکنند.
این مدل ذهنی را به خاطر بسپارید تا مفهوم تمام فلگهای بعدی کاملاً روشن شود: اندازهی TP تعداد GPUهای سازندهی یک نسخهی مدل است و سایر پارامترها صرفاً روشهایی برای تقسیم همان مجموعه هستند.
مقدار پیشفرض تکتک این فلگها 1 است {{code}}. بنابراین، اجرای سادهی sglang serve از یک GPU، یک اسکژولر (scheduler) و یک نسخه از مدل استفاده میکند.
دو معنای متفاوت از «موازیسازی داده»
موازیسازی داده (Data Parallelism یا DP): چند نسخهی کامل و مجزا از مدل که هرکدام درخواستها و کش KV اختصاصی خود را دارند. ترکیب --dp-size 2 با --tp-size 4 از 8 کارت GPU بهصورت دو جهان 4تایی استفاده میکند. فرایند کنترلرِ موازیسازی داده هر درخواست جدید را به یکی از این نسخهها میسپارد {{code}}. روش پیشفرض این کنترلر، یعنی auto، خارج از سناریوهای تفکیک پیشپرکنی (prefill) و رمزگشایی (decode)، روی حالت نوبتگردشی (round_robin) قرار میگیرد.
موازیسازی دادهی اتنشن (Attention data parallelism): درون یک گروه TP، لایههای اتنشن بهصورت موازیسازی داده اجرا میشوند؛ درحالیکه لایههای پیشخور (feed-forward) یا لایههای متخصصان همچنان روی تمام GPUها خرد شده باقی میمانند. هر گروه اتنشن اسکژولر، درخواستها و کش KV اختصاصی خود را دارد. برای نمونه، --attn-dp-size 4 همراه با --tp-size 8 چهار گروه اتنشن ایجاد میکند که هرکدام از 2 کارت GPU تشکیل شدهاند.
پیش از نسخهی v0.5.22، یک فلگ واحد هر دو مفهوم را پوشش میداد: --dp-size تعداد نسخههای مدل را مشخص میکرد، مگر اینکه فلگ --enable-dp-attention نیز فعال میشد که در آن صورت، نشاندهندهی تعداد گروههای اتنشن بود. درخواست ادغام شمارهی #41818 دلیل این تغییر را در یک جمله بیان کرد: «پارامتر --dp-size دو معنای کاملاً متفاوت دارد... هر کسی که کد را میخواند باید هر دو فلگ را بررسی کند تا بفهمد منظورش کدام است.» این تغییر در تاریخ 2026-09-30 ادغام شد.
کد در نسخهی v0.5.22 با نحوهی نگارش قدیمی به سه شکل برخورد میکند {{code}}:
| ورودی شما | رفتار SGLang |
|---|---|
--dp-size 8 --enable-dp-attention |
آن را به --attn-dp-size 8 --dp-size 1 بازنویسی میکند و هشدار منسوخشدن (deprecation warning) میدهد |
--attn-dp-size 8 |
شیوهی نگارش جدید، با همان چیدمان |
--dp-size 2 --attn-dp-size 4 |
خطا میدهد: ترکیب کپیهای مدل با موازیسازی دادهی اتنشن پشتیبانی نمیشود |
در متن هشدار، نام فلگ جدید ذکر میشود و یک کامنت در سورسکد اشاره کرده که فلگ قدیمی پس از تاریخ 2026-12-31 بهطور کامل حذف خواهد شد {{code}}. هنوز هم راهنماهای زیادی برای مدلهای DeepSeek در وب وجود دارند که از شیوهی نگارش قدیمی استفاده میکنند. این دستورات امروز کار میکنند، اما در نسخههای بعدی از کار خواهند افتاد.
چرا اتنشن به حالت موازیسازی دادهی اختصاصی نیاز دارد؟
مدلهای DeepSeek از اتنشن چندسر نهفته (Multi-Head Latent Attention یا MLA) بهره میبرند. ساختار MLA بهازای هر توکن و هر لایه، یک بردار نهفتهی فشرده ذخیره میکند که در واقع یک «هد» (Head) منفرد KV محسوب میشود. در بخش 3.1 ابعاد دقیق آن را بررسی میکنیم. موازیسازی تنسور نمیتواند یک هد را بین چند GPU خرد کند؛ بنابراین با تنظیم --tp-size 8، تکتک GPUها کل کش نهفته را برای تمام توکنها ذخیره میکنند. نتیجه این است که 8 کارت GPU عملاً 8 نسخهی کاملاً یکسان از یک کش KV را نگه میدارند.
تیم SGLang هنگام اضافه کردن این حالت در نسخهی v0.4 دقیقاً به همین موضوع اشاره کرد {{team 2024-12}}. با موازیسازی دادهی اتنشن، هر گروه اتنشن فقط درخواستهای مربوط به خودش را نگهداری میکند. بدین ترتیب ظرفیت کش KV در سرور متناسب با تعداد گروهها افزایش مییابد. تیم توسعهدهنده بر اساس ادعای خود، تا 1.9 برابر نرخ پردازش رمزگشایی بالاتری را برای مدلهای DeepSeek گزارش کرده است.
این منطق برای مدلهای متراکم (dense) مجهز به اتنشن پرسوجوی گروهبندیشده (Grouped-Query Attention یا GQA) صدق نمیکند؛ زیرا GQA چندین هد KV دارد و موازیسازی تنسور بدون نیاز به کپیبرداری تکراری، کش را میان کارتها خرد میکند.
موازیسازی دادهی اتنشن چه تغییری برای شما ایجاد میکند؟
فعالسازی موازیسازی دادهی اتنشن، دو تنظیم دیگر را بدون نیاز به فلگ جداگانه تغییر میدهد {{code}}:
- مقدار
chunked_prefill_sizeبر--attn-dp-sizeتقسیم میشود. بنابراین اندازهی چانکی که برای یک GPU تنظیم کرده بودید، بهازای هر گروه اتنشن کوچکتر میشود. لاگ سرور مقادیر قبلی و جدید را چاپ میکند. - مقدار
schedule_conservativenessدر عدد 0.3 ضرب میشود. در نتیجه اسکژولر با رزرو حافظهی کمتری برای توکنهای آینده، درخواستهای جدید را میپذیرد. در بخش 2.3 این سازوکار رزرو توضیح داده شده است.
تغییر اول معمولاً افراد را غافلگیر میکند. تیمی که تاخیر تا اولین توکن (TTFT) را با --chunked-prefill-size 8192 اندازهگیری کرده و سپس --attn-dp-size 8 را اضافه کرده است، حالا چانکهای 1024 توکنی را اجرا میکند. در نتیجه، پیشپرکنی پرامپتهای طولانی به گامهای بیشتری در اسکژولر نیاز خواهد داشت.
پیشنهاد ما
از موازیسازی تنسور صرفاً برای جا دادن مدل در حافظه استفاده کنید و نه بیشتر. برای افزایش ظرفیت، از نسخههای موازیسازی داده استفاده کنید؛ چه درون یک سرور با --dp-size و چه در قالب سرورهای مجزا پشت گیتوی طبق بخش 6.4. برای هر نسخه استخر حافظهی (pool) تقریباً برابری در نظر بگیرید. تنها زوج آزمایشی ما استخرهای نابرابر داشت و در تمام سطوح بار شکست خورد. مقدار --attn-dp-size را برای مدلهای مخلوطی از متخصصان مجهز به MLA مانند DeepSeek و Kimi برابر با --tp-size بگذارید، و برای مدلهای متراکم با GQA آن را روی همان 1 رها کنید.
یک گزارش عملیاتی هم این اولویتبندی را تایید میکند. یک تیم دانشجویی مدل DeepSeek-R1 را برای یک رقابت روی نودهای H100 و H200 بهینهسازی کردند {{field Lowndes 2025-11}}. استفادهی ساده از --tp 16 بهصورت آفلاین حدود 5.9 هزار توکن در ثانیه میداد. بهترین چیدمان آنها که ترکیب TP4 با DP4، PP2 و موازیسازی دادهی اتنشن روی یک نود H200 بود، به رکورد 17,417 توکن در ثانیه رسید. این ارقام را فقط بهعنوان یک نقطهی داده در نظر بگیرید، چرا که گزارش متنی آنها پارامتر --mem-fraction-static را به درستی توضیح نداده است.
مجموعهی Ant Group نیز در محیط عملیاتی تصمیم مشابهی گرفت. فرایند رمزگشایی DeepSeek-R1 در زیرساخت آنها روی دو نود با 16 گروه اتنشن و موازیسازی متخصصان 16 جهته اجرا میشود {{field Ant-Group 2025-09}}.
توزیع روی چند نود
یک جهان مدل میتواند بین چند ماشین توزیع شود. سه فلگ زیر ساختار آن را توصیف میکنند {{code}}:
| فلگ | پیشفرض | کاربرد |
|---|---|---|
--nnodes |
1 | تعداد ماشینهای درون یک جهان مدل |
--node-rank |
0 | موقعیت این ماشین، با شروع از 0 |
--dist-init-addr |
ندارد | آدرس host:port که تمام رتبهها برای ساخت گروههای خود به آن وصل میشوند |
تنها نود 0 توکنایزر و رابط HTTP API را اجرا میکند. سایر نودها فقط فرایندهای اسکژولر خود و یک سرویس کوچک بررسی سلامت (health server) را اجرا میکنند و کار دیگری انجام نمیدهند {{code}}. لودبالانسر خود را به نود 0 هدایت کنید. همچنین رتبههای مجاور را روی یک ماشین نگه دارید؛ زیرا گروههای TP بازههای پیوسته در حافظه از رتبهها هستند و اعمال اشتراکی آنها به پیوندهای سریع درون یک جعبه نیاز دارند.
یک رخداد واقعی نشان میدهد که چطور یک جزئیات کوچک شبکه میتواند کل سیستم را متوقف کند. کاربری موازیسازی دادهی اتنشن را روی چند نود با استفاده از یک آدرس IPv6 در --dist-init-addr اجرا کرد (گزارش شمارهی 19953#). سرور روی اولین پیام خود به اسکژولرها قفل کرد و هیچ درخواستی پردازش نشد. ریشهی مشکل سوکت ZeroMQ بود که کنترلر آن را بدون فعال بودن IPv6 متصل کرده بود. راهکاری در همان بحث پیشنهاد شد، اما نتوانستیم تایید کنیم که در کد اصلی merge شده است یا خیر.
چه معیارهایی را باید بسنجیم؟
قبل از اینکه به تعداد GPUها اضافه کنید، عملکرد یک نسخه از مدل را با بنچمارک بخش 5.1 بسنجید. دو متریک sglang:num_queue_reqs و sglang:token_usage از بخش 5.2 را زیر نظر بگیرید. صفی که طولانی میشود درحالیکه مصرف توکن پایین مانده، نشاندهندهی محدودیتهای محاسباتی است و در این حالت افزایش تعداد نسخهها کمک میکند. مصرف توکن نزدیک به 1.0 نشانهی کمبود حافظهی KV است و کوچکتر کردن کش KV بهازای هر توکن، اولین گزینهی کمککننده خواهد بود.
برای موازیسازی دادهی اتنشن، مقدار sglang:dp_attention_token_imbalance_ratio را پایش کنید. این متریک نسبت توکنهای شلوغترین گروه به میانگین را گزارش میدهد و 1.0 یعنی تعادل کامل برقرار است. دادهی خروجی /metrics ما حتی روی یک Mac تکی هم این متغیر را دارد، بنابراین میتوانید قبل از اینکه واقعاً به آن نیاز پیدا کنید، آن را به داشبوردهای خود اضافه کنید.
آنچه روی دو کارت L4 اتفاق افتاد
ما دو کارت NVIDIA L4 روی یک ماشین داشتیم و کارت دوم همزمان دو پاد کوچک متعلق به تیمی دیگر را اجرا میکرد. هر پاد 1,746 مبیبایت فضا اشغال کرده بود. مدل Qwen/Qwen3-8B را با --tp-size 2 اجرا کردیم و سرور درست 2 ثانیه بعد از راهاندازی NCCL متوقف شد.
RuntimeError: The memory capacity is unbalanced. Some GPUs may be occupied by other processes. pre_model_load_memory=18.28375244140625, local_gpu_memory=21.70391845703125, local_gpu_memory * 0.9=19.533526611328124استثنای اسکژولر از لاگ سرور، با حذف سایر خطوط.
پیش از بارگذاری وزنها، هر رتبه حافظهی آزاد خود را اندازه میگیرد و گروه، کمترین مقدار را مبنا قرار میدهد. اگر این مقدار کمتر از 90 درصد حافظهی آزاد محلی باشد، سرور متوقف میشود {{code}}. کارت دوم 18.28 گیگابایت حافظهی آزاد داشت، درحالیکه این بررسی به 19.53 گیگابایت نیاز داشت. در نسخهی v0.5.22 هیچ فلگی برای غیرفعال کردن این بررسی وجود ندارد.
سرور کاملاً درست متوقف شده است. هر رتبه در یک گروه TP سهم یکسانی از وزنها و استخر برابری دارد؛ بنابراین کوچکترین کارت اندازه را برای تمام آنها دیکته میکند. در یک ماشین اشتراکی، به گروه TP کارتهای GPU کامل اختصاص دهید. فلگ --dp-size 2 این بررسی را ندارد، زیرا هر نسخه استخر اختصاصی خودش را اندازهگذاری میکند؛ به همین دلیل روی همان جفت کارت شروع به کار کرد.
شکست موازیسازی داده روی همان زوج نابرابر
انتظار داشتیم دو نسخه تقریباً دو برابر یک نسخه خروجی بدهند، اما کمتر از یک نسخه سرویس دادند. ما تست بررسی جامع حلقهبسته (closed-loop sweep) بخش 4.3 را با سه seed به ازای هر نقطه اجرا کردیم. هر درخواست شامل 512 توکن ورودی و 128 توکن خروجی بود. اجرای اول از یک کارت L4 و اجرای دوم از --dp-size 2 روی هر دو کارت استفاده کرد.
… DP0] Load weight end. elapsed=3.61 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
… DP1] Load weight end. elapsed=3.73 s, type=Qwen3ForCausalLM, avail mem=3.17 GB, mem usage=15.28 GB.
… DP0] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
… DP1] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 2925, K size: 0.20 GB, V size: 0.20 GB
… DP1] Decode batch, #running-req: 4, #token: 2385, token usage: 0.82, cuda graph: True, gen throughput (token/s): 25.48, #queue-req: 59
… DP0] Decode batch, #running-req: 1, #token: 590, token usage: 0.02, cuda graph: True, gen throughput (token/s): 9.67, #queue-req: 0
… DP1] Decode batch, #running-req: 4, #token: 2545, token usage: 0.87, cuda graph: True, gen throughput (token/s): 25.79, #queue-req: 59
… DP0] Decode batch, #running-req: 3, #token: 1665, token usage: 0.07, cuda graph: True, gen throughput (token/s): 9.49, #queue-req: 0خطوط راهاندازی و چهار خط لاگ رمزگشایی در 64 درخواست در حال اجرا در تاریخ 2026-10-17 ساعت 07:26. برچسبهای زمانی حذف شدهاند.
پس از بارگذاری وزنها، کارت دوم به دلیل اشغال حافظه توسط آن دو پاد، فقط 3.17 گیگابایت حافظهی آزاد داشت، درحالیکه کارت اول 6.59 گیگابایت آزاد داشت. اندازهگیری ما نشان داد استخر حافظه روی آن نسخه 2,925 توکن بود؛ یعنی یکهشتم کارت اول. تنها 4 درخواست 640 توکنی این استخر را پر میکند.
با این حال کنترلر به فرستادن یکدرمیان درخواستها به آن نسخه ادامه میداد؛ چون round_robin به حجم استخرها یا صفها نگاه نمیکند. بنچمارک در هر لحظه 64 درخواست باز نگه میدارد. در همزمانی 64، 63 تا از آنها روی نسخهی کوچک گیر کرده بودند (4 تا در حال اجرا و 59 تا در صف انتظار). نسخهی بزرگ فقط بین 1 تا 3 درخواست داشت و تنها از 2 تا 7 درصد استخر خود استفاده میکرد. کلاینت نمیتوانست کار بیشتری به آن بفرستد تا زمانی که نسخهی کوچکتر یک جایگاه (slot) پس بدهد.
اندازهگیری ما نشان داد که این وضعیت در لایههای انتهایی تاخیر (tail latency) هم هزینهساز شد. در همزمانی 64، میانهی p99 TTFT در سه seed، روی یک کارت L4 برابر با 33.4 ثانیه و با دو نسخه 391 ثانیه بود. تست تککارت در تاریخ 2026-10-16 و جفتکارت در 2026-10-17 انجام شد. در 32 و 64 کاربر، فرکانس جفتکارت روی 765 و 675 مگاهرتز کار میکرد که زیر حداقل کلاک استاندارد ما بود. کارت تکی در 1,320 و 1,080 مگاهرتز کار میکرد؛ بنابراین بخشی از این افت عملکرد ناشی از کلاک است.
تا همزمانی 4 کاربر، دو نسخه بین 16 تا 41 درصد کندتر بودند، به دلیلی که نتوانستیم دقیقاً آن را ریشهیابی و تفکیک کنیم. در حالت 1 کاربر، جفتکارت با وجود کلاک بالاتر، بهازای هر توکن 79.6 میلیثانیه زمان برد که در مقایسه با 60.2 میلیثانیهی تککارت کندتر بود.
تست حلقهباز (open-loop sweep) در بخش 5.1 نیز همین را تایید کرد. با ورود درخواستها با نرخ ثابت، دو نسخه حداکثر 0.21 درخواست در ثانیه را درون محدودهی تاخیر مدنظر ما کامل کردند؛ درحالیکه یک کارت L4 بهتنهایی به 0.96 رسید.
سپس یکی از دو تنظیمی را که میتوانست کمک کند بررسی کردیم. فلگ --load-balance-method total_tokens هر درخواست را به نسخهای میفرستد که کمترین توکن را در اختیار دارد.
[2026-10-19 00:24:05 DP0] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-19 00:24:06 DP1] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 2925, K size: 0.20 GB, V size: 0.20 GBدو استخر در زمان راهاندازی. کارت دوم همچنان به اشتراک گذاشته شده بود، بنابراین نسخه آن یک هشتم استخر را در اختیار داشت.
اندازهگیری ما نشان داد که این روش جهش بزرگی نسبت به نوبتگردشی ایجاد میکند، اما همچنان در مقایسه با یک کارت عقبتر است. این سه آزمایش در تاریخهای 2026-10-19، 2026-10-17 و 2026-10-16 انجام شدند.
در 64 کاربر، جفتکارت با مسیریابی بر اساس توکن به 114.7 توکن در ثانیه رسید؛ در برابر 41.7 توکن در حالت نوبتگردشی و 250.9 توکن روی تککارت L4. در 8 کاربر، به 92.1 توکن در ثانیه در برابر 64.2 و 112.6 رسید. میانهی TTFT در 64 کاربر از 4,763 به 3,977 میلیثانیه افت کرد. میانهی کلاک در 64 کاربر 1,020 مگاهرتز بود، در برابر 675 مگاهرتز در اجرای نوبتگردشی؛ بنابراین بخشی از این بهبود میتواند به کارت مربوط باشد.
تنظیم دیگر، اجرای دو سرور جداگانه پشت گیتوی در بخش 6.4 است که برای هرکدام یک ضریب وزنی تعیین شود. ما این حالت را نسنجیدیم. همچنین جفتی با استخرهای برابر را هم آزمایش نکردیم. روی زوج نابرابر ما، --dp-size 2 در تمام سطوح بار باخت. انتظار داریم موازیسازی داده تنها زمانی باعث افزایش ظرفیت شود که تمام نسخهها استخر حافظهی تقریباً یکسانی داشته باشند. قبل از اینکه به مجموع خروجی اعتماد کنید، خط #tokens مربوط به هر رتبهی DP را چک کنید.
منابع: فایلهای python/sglang/srt/distributed/parallel_state.py (متد initialize_model_parallel)، python/sglang/srt/distributed/bootstrap.py (متد check_tp_memory_balance_)، لاگ capture/gpu/incidents/l4-tp-unbalanced-memory.txt، لاگ capture/gpu/out-l4/server-dp2.log، فایل capture/gpu/summary/l4.json، ماژولهای python/sglang/srt/arg_groups/fields/parallel.py و python/sglang/srt/arg_groups/parallel_hook.py (متدهای handle_deprecated_dp_attention و handle_data_parallelism)، فایلهای python/sglang/srt/server_args.py، python/sglang/srt/entrypoints/engine.py و python/sglang/srt/managers/data_parallel_controller.py، همگی در نسخهی v0.5.22. لاگ capture/out/metrics.txt. درخواست ادغام شمارهی 41818، issue شمارهی 19953. پست LMSYS، «SGLang v0.4»، تاریخ 2024-12-04. یادداشت Luca Lowndes، «SGLang optimisations»، تاریخ 2025-11-07. گزارش Ant Group در وبلاگ LMSYS، تاریخ 2025-09-26؛ لاگ capture/gpu/out-l4/server-dp2-tokens.log و فایل capture/gpu/summary/l4.json (بخش load.dp2-tokens).