لایهی ترکیبی از متخصصان (MoE) هر توکن را به همان GPUهایی میفرستد که متخصصان منتخبش را نگه میدارند؛ بنابراین سرویسدهی MoE تا حد زیادی وابسته به ارتباطات است و شلوغترین GPU سرعت کل سیستم را تعیین میکند.
یک مدل ترکیبی از متخصصان (Mixture-of-Experts یا MoE) مثل DeepSeek-V3، برای پردازش هر توکن فقط تعداد انگشتشماری از میان انبوهی از متخصصان را فعال میکند. روی کاغذ، این کار بار محاسباتی سبکی دارد؛ اما در سطح سرور به یک مسئلهی ترافیکی تبدیل میشود. هر توکن باید به سمت GPUهایی برود که متخصصان انتخابیاش روی آنها قرار دارند و نتیجهی کار هم باید برگردد؛ آن هم در تمام لایههای MoE و در تکتک گامها. در این میان، کافی است فقط یکی از GPUها زیر بار سنگین برود تا همهی کارتهای دیگر معطل شوند.
پس از پایان این بخش، میتوانید مسیر حرکت یک توکن را در لایهی MoE فریمورک SGLang دنبال کنید. همچنین میتوانید بکاند همهبههمه (all-to-all) مناسب و ابعاد موازیسازی متخصصان را انتخاب کنید و تصمیم بگیرید چه زمانی توازن بار و همپوشانی دستهها را روشن کنید.
یک لایهی MoE، پنج مرحله
موازیسازی متخصصان (Expert Parallelism یا EP): متخصصانِ هر لایهی MoE بین GPUها تقسیم میشوند و توکنها به سمت این متخصصان حرکت میکنند. گزینهی --ep-size مشخص میکند که چه تعداد GPU متخصصان را بین خود تقسیم کنند. مقدار پیشفرض آن 1 است {{code}}.
فریمورک SGLang فرایند گذر رو به جلو در MoE را به چند مرحله تقسیم میکند که هر مرحله یک مسئول مشخص دارد {{docs}}. مسیریاب (router) متخصصان مربوط به هر توکن را انتخاب میکند. توزیعکنندهی وظایف (dispatcher) توکنها را به GPUهایی میفرستد که میزبان آن متخصصان هستند. یک اجراکننده (runner) تمام متخصصان محلی را با ضرب ماتریسی دستهبندیشده محاسبه میکند. سپس توزیعکنندهی وظایف نتایج را بازمیگرداند و آنها را با هم ترکیب میکند.
سه فلگ پیادهسازی این بخشها را تعیین میکنند {{code}}:
| فلگ | مقدار پیشفرض | عملکرد انتخابی |
|---|---|---|
--moe-a2a-backend |
none |
نحوهی جابهجایی توکنها بین GPUها: deepep، mooncake، nixl، mori، pplx، flashinfer و موارد دیگر |
--moe-runner-backend |
auto |
انتخاب کرنل ضرب ماتریسی دستهبندیشده برای اجرای متخصصان |
--deepep-mode |
auto |
توزیع در حالت normal برای دستههای پیشپرکنی (prefill) و حالت low_latency برای دستههای رمزگشایی (decode) |
با مقدار none، فریمورک SGLang توکنها را با عملهای اشتراکیِ all-reduce یا all-gather جابهجا میکند. این حالت با هر نوع چینشی کار میکند ولی در مقیاسهای بالا پهنای باند بسیار بیشتری مصرف میکند. در مقابل، بکاندهای all-to-all هر توکن را دقیقاً فقط به همان مقصدی میفرستند که باید برود.
قواعد چینش در SGLang
بکاندهای all-to-all کل گروه موازیسازی تنسور (TP) را پوشش میدهند. وقتی یکی از آنها را انتخاب میکنید، SGLang مقدار --ep-size را با --tp-size برابر قرار میدهد و این تغییر را در سطح لاگ info ثبت میکند {{code}}. نمیتوانید DeepEP را مثلاً فقط روی 4 تا از 8 پردازندهی گرافیکی اجرا کنید. چینشهای ترکیبی که در آنها موازیسازی متخصصان کوچکتر از موازیسازی تنسور باشد، فقط با حالت none کار میکنند {{docs}}.
کتابخانهی DeepEP دو حالت توزیع دارد. حالت عادی (Normal mode) دستههای بزرگ پیشپرکنی را با نرخ پردازش بالا ارسال میکند و امکان ثبت آن در گراف CUDA وجود ندارد. حالت تاخیر کم (Low-latency mode) دستههای کوچک رمزگشایی را ارسال میکند و درون گرافهای CUDA به خوبی کار میکند. مقدار پیشفرض auto بر اساس شرایط، هر حالت را در جای مناسب به کار میگیرد. اگر گزینهی --deepep-mode normal را تحمیل کنید، SGLang گرافهای CUDA را برای رمزگشایی خاموش میکند و یک سطر هشدار چاپ میکند {{code}}. در بخش 4.1 هزینهی رمزگشایی بدون گرافها نشان داده شده است.
انتخاب ابعاد موازیسازی متخصصان بر اساس اندازه دسته
موازیسازی گستردهتر متخصصان، متخصصان را بیشتر پخش میکند اما حجم ترافیک ارسالی روی ارتباطاتِ کندتر را افزایش میدهد. گروه Ant Group این موضوع را روی GPUهای H20 برای رمزگشایی مدل DeepSeek-R1 اندازهگیری کرده است {{field Ant-Group 2025-09}}:
| دستهی رمزگشایی | EP16 | EP32 |
|---|---|---|
| 8 | 278 توکن در ثانیه | 293 توکن در ثانیه |
| 32 | 675 توکن در ثانیه | 585 توکن در ثانیه |
پیکربندی EP32 در دستههای کوچک برنده شد، اما در اندازهی دستهای که در محیط عملیاتی استفاده میکردند 13 درصد عقب افتاد. آنها علت این نتیجه را ترافیک شبکه دانستند: در EP16 حدود نیمی از ترافیک MoE روی NVLink باقی میماند، در حالی که در EP32 این میزان به حدود یکچهارم کاهش مییابد. آنها همچنین پیکربندی EP16 را انتخاب کردند تا در صورت خرابی یک GPU، تعداد درخواستهای کمتری از بین برود. پست آنها در وبلاگ LMSYS منتشر شده و این اعداد حاصل سنجشهای خود آنها است.
توازن بار متخصصان
در ترافیک واقعی، بار ورودی به شکل یکنواخت میان متخصصان پخش نمیشود. برخی از متخصصان بخش عمدهی توکنها را دریافت میکنند و GPUهایی که میزبان آنها هستند، در هر گام به کندترین رتبه تبدیل میشوند.
ابزار EPLB: متعادلکنندهی بار در موازیسازی متخصصان. این ابزار ثبت میکند که در هر گذر رو به جلو کدام متخصصان به کار رفتهاند. هر بار پس از گذشت --eplb-rebalance-num-iterations گذر (به صورت پیشفرض 1000 گذر)، چیدمان جدیدی محاسبه کرده و وزنهای متخصصان را جابهجا میکند {{code}}. گزینهی --ep-num-redundant-experts نسخههای اضافهای از متخصصان پرکاربرد اضافه میکند که پیشفرض آن 0 است. یک فلگ آستانه نیز وجود دارد که اگر بهرهوری GPU از قبل بالا باشد، بازتوزیع بار را رد میکند؛ مقدار پیشفرض آن 1.0 است، یعنی هرگز آن را رد نمیکند.
ابزار EPLB به صورت پیشفرض غیرفعال است (مقدار --enable-eplb برابر با false است). این قابلیت را تنها زمانی روشن کنید که سنجشهای شما حاکی از عدم توازن باشد، نه زودتر. سیستم را با فلگ --expert-balancedness-report-mode prometheus اجرا کنید و sglang:eplb_balancedness را زیر نظر بگیرید {{code}}. تیم SGLang از بهبود سرعت با EPLB به میزان 1.49 برابر برای پیشپرکنی و 2.54 برابر برای رمزگشایی خبر داده است {{team 2025-05}}. البته این اعداد روی یک عدمتوازن شبیهسازیشده به دست آمدهاند؛ بنابراین در ترافیکی که از پیش متوازن است انتظار ارقام کمتری را داشته باشید.
همپوشانی ارتباطات با محاسبات
همپوشانی دو دسته (TBO): اسکژولر یک دسته را به دو میکروبچ تقسیم میکند. یک میکروبچ محاسبات اتنشن را اجرا میکند، در حالی که میکروبچ دیگر منتظر توزیع وظایف یا ترکیب نتایج میماند. این قابلیت را با --enable-two-batch-overlap روشن کنید؛ این گزینه به صورت پیشفرض خاموش است {{code}}.
در مرحلهی پیشپرکنی، SGLang دستهها را بر اساس تعداد توکنها میشکند. اگر هیچ حالتی نتواند دستکم 48 درصد توکنها را به هر سمت تخصیص دهد، یک توالی را در هر دو نیمه خرد میکند. این رفتار با --tbo-token-distribution-threshold کنترل میشود که به صورت پیشفرض روی 0.48 تنظیم شده است.
مستندات SGLang میگویند قابلیت TBO میتواند تا 2 برابر نرخ پردازش را افزایش دهد {{docs}}. اما در پست وبلاگی که مستندات به آن ارجاع میدهند، این بهبود روی 96 پردازندهی گرافیکی H100 بین 27 تا 35 درصد اندازهگیری شده است {{team 2025-05}}. برنامهریزیهای خود را بر اساس این عدد واقعی انجام دهید.
گروه Ant Group قابلیت TBO را روی کارتهای H20 خاموش کرد {{field Ant-Group 2025-09}}. این روش فقط در دستههای 64 یا 128 تایی کمککننده بود و در آن ابعاد هم زمان به ازای هر توکن خروجی به هدف مدنظر آنها نمیرسید. آنها در عوض از همپوشانی تکدسته (--enable-single-batch-overlap) استفاده کردند که متخصصان مشترک (shared experts) را با مرحلهی ترکیب نتایج همپوشانی میدهد. آنها با این روش در دستههای 20 تا 56 تایی به بهبود 8 تا 10 درصدی دست یافتند.
یک GPU، یک مدل MoE: دسته بزرگتر متخصصان بیشتری میخواند
روی یک کارت گرافیک، ارسال داده بین چند GPU وجود ندارد؛ بنابراین MoE ارزان به نظر میرسد. ما مدل Qwen3-30B-A3B را روی یک پردازندهی NVIDIA GB10 اجرا کردیم و همزمانی را از 1 تا 64 مورد بررسی قرار دادیم. کانفیگ این مدل شامل 48 لایه، 128 متخصص در هر لایهی MoE و 8 متخصص فعال به ازای هر توکن است.
| همزمانی | میانهی TPOT در BF16 | میانهی TPOT در FP8 |
|---|---|---|
| 1 | 32.52 ms | 18.41 ms |
| 8 | 102.21 ms | 54.96 ms |
| 64 | 254.06 ms | 131.78 ms |
ما این آزمون را با سه seed مختلف به ازای هر نقطه ثبت کردیم. با افزایش درخواستهای همزمان از 1 به 64، زمان به ازای هر توکن خروجی در فرمت BF16 تا 7.8 برابر و در FP8 تا 7.2 برابر افزایش مییابد. در یک مدل متراکم (dense)، در هر گام رمزگشایی هر وزن یک بار برای کل دسته خوانده میشود. اما در یک مدل MoE، مجموعهی وزنهایی که در یک گام خوانده میشوند با بزرگتر شدن دسته رشد میکند. ما آزمایش مقایسهای متراکمی روی این پردازندهی GB10 اجرا نکردیم.
یکی از دلایل محتمل این اتفاق، اجتماع متخصصان منتخب است. در همزمانی 1، هر لایه در طول یک گام رمزگشایی فقط وزنهای مربوط به 8 متخصص را میخواند. اما در همزمانی 64، 64 توکن داریم که هر کدام 8 متخصص را از میان 128 متخصص انتخاب میکنند. اگر توزیع کاملاً یکنواخت بود، در هر گام حدود 126 متخصص از 128 متخصص در هر لایه خوانده میشدند.
البته این یک حسابوکتاب ریاضی است نه سنجش مستقیم در عمل، و در واقعیت مسیریابی ناهمگنتر است. زمان به ازای هر توکن از 32 کاربر تا 64 کاربر همچنان روندی صعودی داشت؛ در حالی که اجتماع متخصصان تنها حدود 13 درصد بزرگتر میشود. بنابراین عملیات اتنشن، خواندن از کش KV و گامهای پیشپرکنی در طول این آزمون هم با بزرگتر شدن دسته رشد میکنند. طبق نام مدل، برای هر توکن حدود 3 میلیارد پارامتر فعال میشود؛ اما یک دستهی 64 تایی تقریباً تمام 30 میلیارد پارامتر را میخواند.
پرامپتهای ما نیز این نتیجه را محدود میکنند. دیتاست random متنهای ShareGPT را میفرستد که تا 512 توکن بریده یا تکرار شدهاند و هر پاسخ تا 128 توکن ادامه یافته است.
یک مطالعهی بنچمارک در سال 2026 توسط محققان NVIDIA با نام SPEED-Bench، یک مدل MoE را با شناسههای توکن تصادفی ارزیابی کرد. در برخی لایهها، بین 20 تا 30 درصد از متخصصان دستنخورده باقی ماندند. پرامپتهای ما متونی واقعی هستند، اما با این حال با ترافیک واقعی شما تفاوت دارند. ما ثبت نکردیم که دقیقاً کدام متخصصان انتخاب شدهاند. قبل از برنامهریزی ظرفیت سیستم بر اساس این ارقام، حتماً همین آزمایشها را با نمونههایی از پرامپتهای واقعی خودتان اجرا کنید.
دیدگاه ما: هنگام اجرا روی یک سرور، مدل MoE را بر اساس بایتهایی که یک دستهی کامل میخواند برنامهریزی کنید، نه بر اساس پارامترهای فعال آن. اول کوانتیزاسیون را اعمال کنید. چکپوینت FP8 همراه با کش کلید-مقدار FP8، زمان پردازش هر توکن را در تمام سطوح همزمانی به 0.52 تا 0.57 زمان BF16 رساند. از آنجا که در این حالت همهی وزنها و کش کلید-مقدار کوانتایز شده بودند، نمیتوانیم این بهبود را صرفاً به متخصصان نسبت دهیم.
جمعبندی ما
در سروری که هم پیشپرکنی و هم رمزگشایی را انجام میدهد، گزینه --deepep-mode را روی حالت auto بگذارید. ابعاد موازیسازی متخصصان (--ep-size) را بر اساس اندازهی دستهای انتخاب کنید که نیازهای تاخیر شما را برآورده میکند، نه بر مبنای بزرگترین اعدادی که منتشر شده است. قابلیت EPLB را تنها بعد از اینکه sglang:eplb_balancedness عدمتوازن را نشان داد روشن کنید. به TBO صرفاً به چشم قابلیتی برای بالا بردن نرخ پردازش در دستههای رمزگشایی بزرگ نگاه کنید و قبل از استفادهی دائمی، حتماً تاثیر آن را روی زمان به ازای هر توکن خروجی بسنجید.
دو گزارش تجربی در مقیاس کامل
یکی از نتایج این بخش بررسی مستقل خارجی را پشت سر گذاشته است. شرکت Crusoe نتایج اجرای DeepSeek-R1 روی 512 پردازندهی AMD MI355X را با فریمورک SGLang نسخهی 0.5.15.post1 برای بنچمارک MLPerf Inference v6.1 ارسال کرد {{field Crusoe 2026-09}}. هر نود این سیستم با TP8 و EP8 و هشت گروه اتنشن اجرا میشد. امتیاز حالت آفلاین حدود 2.90 میلیون توکن در ثانیه ثبت شد. در سناریوی سرور، صدک 99 زمان پردازش توکن خروجی 79.98 ms در مقابل حد مجاز 80 ms بود. در مقالهی منتشرشدهی آنها فهرست فلگها آمده است.
تیم SGLang در اجرای آزمایشی روی 96 پردازندهی گرافیکی، به ازای هر نود به ارقام 52.3k توکن ورودی و 22.3k توکن خروجی در ثانیه دست یافت {{team 2025-05}}. در این آزمون از 12 نود متشکل از هشت پردازندهی گرافیکی H100 استفاده شد که پیشپرکنی و رمزگشایی روی نودهای جداگانه قرار داشتند. بخش 6.3 این تفکیک را توضیح میدهد.
یک رخداد واقعی: سرریز حافظه روی یکی از GPUها
یک تیم، مدل DeepSeek V3 را با چهار سرور پیشپرکنی و شش سرور رمزگشایی همراه با موازیسازی گسترده متخصصان اجرا کرد (ایشوی شماره 9787). زیر بار کاری، ناگهان بهرهوری GPU در یکی از رتبههای پیشپرکنی به صفر رسید و بلافاصله تمام فرایندهای پیشپرکنی کرش کردند. بررسی ردگیریها نشان داد ریشهی مشکل در توزیع وظایف DeepEP بوده است. مسیریابی نامتوازن، توکنهای بسیار زیادی را به یک GPU سرازیر کرده بود و حافظهی آن GPU پر شد. راهکارهای پیشنهادی شامل پیشپرکنی تکهای (chunked prefill) کوچکتر به ازای هر گروه اتنشن، چینش اولیهی بهینهسازیشده برای متخصصان و استفاده از EPLB بود. درس حاصل از این ماجرا یک قاعدهی کلی است: در سرویسدهی مدلهای MoE، شلوغترین GPU هم سرعت و هم سقف حافظهی شما را تعیین میکند.
منابع: فایلهای python/sglang/srt/arg_groups/fields/exec_.py، python/sglang/srt/arg_groups/overrides.py (_a2a_ep_size)، python/sglang/srt/arg_groups/moe_hook.py، python/sglang/srt/eplb/eplb_manager.py، python/sglang/srt/batch_overlap/two_batch_overlap.py، python/sglang/srt/observability/metrics_collector.py، و docs/docs/advanced_features/expert_parallelism.mdx، همگی در نسخهی v0.5.22. مقالهی LMSYS با عنوان «Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs»، مورخ 2025-05-05. پست وبلاگی Ant Group در وبلاگ LMSYS، مورخ 2025-09-26. نتایج بنچمارک Crusoe برای MLPerf Inference v6.1، مورخ 2026-09-16. ایشوی شماره 9787 گیتهاب. فایلهای capture/gpu/summary/gb10.json، capture/gpu/sweep.py، و config.json مدل Qwen/Qwen3-30B-A3B-Instruct-2507. فایل python/sglang/benchmark/datasets/random.py (تابع sample_random_requests) در نسخهی v0.5.22. مقالهی Abramovich و همکاران، با عنوان SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding، آرکایو 2604.09557 (2026-02، ویرایش 2026-05).