در موازیسازی متخصصان (Expert parallelism)، متخصصهای یک مدل MoE بین چندین GPU پخش میشوند؛ با این حال، یک GPU تکی هم میتواند از پس سرو مدلهای MoE کوچک بربیاید.
شما یک مدل ترکیبی از متخصصان (Mixture of Experts یا MoE) را سرو میکنید. بعد از پایان این بخش، میتوانید تصمیم بگیرید که چه زمانی موازیسازی متخصصان واقعاً به کارتان میآید.
نتیجهی کار ما: یک سرور DGX Spark مدل Qwen3-30B-A3B را بدون موازیسازی متخصصان، با سرعت 239 توکن در ثانیه برای 64 کاربر سرو کرد.
تفاوت مدلهای MoE در چیست؟
لایههای ترکیبی از متخصصان متخصصهای زیادی دارند، اما هر توکن فقط از تعداد کمی از آنها استفاده میکند. مدل Qwen/Qwen3-30B-A3B-Instruct-2507 در مجموع 30 میلیارد پارامتر دارد، ولی برای هر توکن فقط حدود 3 میلیارد پارامتر فعال میشوند. بنابراین مدل برای تمام وزنهایش به حافظه نیاز دارد، اما پردازش هر توکن فقط به اندازهی بخش کوچکی از آنها هزینه محاسباتی میبرد.
اگر مدل جا میشود، با یک کارت شروع کنید
روی سرور DGX Spark ما، یک پردازندهی GB10 کل مدل را با فرمت BF16 نگه داشت. وزنها 56.93 گیبیبایت فضا گرفتند و سرور در ترافیک 64 کاربر، خروجی 239.3 توکن در ثانیه داد. استفاده از یک دستگاه نیازی به تبادل داده بین GPUها ندارد. اگر مدل و کش کلید-مقدار (KV cache) در کارت جا میشوند، از همینجا شروع کنید.
تحلیل ما: یک دسته (batch) شامل توکنهای زیاد، از متخصصهای مختلفِ متعددی استفاده میکند؛ در نتیجه، با بزرگتر شدن دسته، هر گام رمزگشایی (decode) بخش بیشتری از وزنها را میخواند. روی دستگاهی با پهنای باند حافظهی محدود، این موضوع باعث میشود زمان به ازای هر توکن همگام با بزرگ شدن دسته افزایش یابد. روی GB10 ما، میانهی زمان به ازای هر توکن از 32 میلیثانیه برای یک کاربر به 244 میلیثانیه برای 64 کاربر رسید.
افزودن موازیسازی متخصصان برای مدلهای بزرگ
روی یک ماشین با هشت GPU، متخصصها را بین همهی آنها پخش کنید:
vllm serve <model> --data-parallel-size 8 --enable-expert-parallel
برای مدلی که روی یک ماشین جا نمیشود، مثل مدلهای بزرگ DeepSeek، روی هر ماشین یک دستور اجرا کنید. در این مثال از دو ماشین استفاده شده که هرکدام هشت GPU دارند. ابتدا همانطور که در راهنمای موازیسازی متخصصان در مستندات vLLM آمده، DeepEP و DeepGEMM را روی هر دو ماشین نصب کنید. اینها بخشی از نصب عادی نیستند و سروری با بکاند DeepEP بدون نصب آن در زمان راهاندازی متوقف میشود. ماشین اول درخواستها را دریافت میکند:
vllm serve <model> --enable-expert-parallel \
--all2all-backend deepep_low_latency \
--data-parallel-size 16 --data-parallel-size-local 8 \
--data-parallel-address 192.168.1.100 --data-parallel-rpc-port 13345
ماشین دوم بدون سرور API (به صورت headless) اجرا میشود. رتبهی (Rank) شروع آن برابر با مجموع رتبههای ماشینهای پیش از آن است:
vllm serve <model> --enable-expert-parallel \
--all2all-backend deepep_low_latency \
--data-parallel-size 16 --data-parallel-size-local 8 \
--data-parallel-start-rank 8 \
--data-parallel-address 192.168.1.100 --data-parallel-rpc-port 13345 \
--headless
آدرس را روی IP ماشین اول تنظیم کنید و در هر دو پورت RPC یکسانی بگذارید. در ارتباط بین ماشینها، مستندات vLLM از کرنلهای (Kernels) DeepEP برای تبادل توکنها استفاده میکند.
با موازیسازی متخصصان، هر GPU بخشی از متخصصها را نگه میدارد؛ توکنها به GPU نگهدارندهی متخصص مربوطهشان فرستاده میشوند و برمیگردند. لایههای اتنشن (Attention) بهصورت موازی روی دادهها (Data parallel) روی هر GPU اجرا میشوند. تبادل همهبههمه (All-to-all) توکنها به ارتباطات پرسرعت بین GPUها نیاز دارد.
دو قابلیت دیگر که در مقیاسهای بزرگ کمک میکنند:
- متعادلسازی بار متخصصان (Expert load balancing): گزینه
--enable-eplbمتخصصهای پرکار را جابهجا میکند تا بار پخش شود؛ زیرا بعضی متخصصها توکنهای بسیار بیشتری نسبت به بقیه دریافت میکنند. - موازیسازی کشسان متخصصان (Elastic expert parallelism): به سرویس در حال اجرا، GPU اضافه یا از آن کم میکند. نسخه 0.32 این قابلیت را به Model Runner V2 آورد.
روی سختافزار ما اندازهگیری نشد. ما روی هر ماشین یک GPU داریم، بنابراین موازیسازی متخصصان را اجرا نکردهایم.
بررسی پیکربندی
در پیادهسازی چند GPU، با افزایش بار، زمان به ازای هر توکن را زیر نظر بگیرید و آن را با اجرای همان مدل روی تعداد GPU کمتر مقایسه کنید. اگر زمان به ازای هر توکن سریعتر از حجم خروجی بالا برود، تبادل داده بین GPUها گام پردازش را محدود کرده است.
منابع: capture/gpu/summary/gb10.json (load.vllm)، capture/gpu/out-gb10/server-load-vllm.log، مستندات vLLM در نسخه v0.31.0 (docs/serving/expert_parallel_deployment.md)، سورسکد vLLM در نسخه v0.31.0 (vllm/config/parallel.py)، یادداشتهای انتشار نسخه v0.32.0.