موازیسازی تنسور مدلی را که در حافظه جا نمیشود خرد میکند؛ موازیسازی داده از مدلی که جا میشود کپی میگیرد.
یک GPU کافی نیست. با تمام کردن این بخش، میتوانید با یک درخت تصمیم (decision tree) کوتاه، چینش موازیسازی مناسب را انتخاب کنید.
پاسخ به سه پرسش
| پرسش | در صورت بله | در صورت خیر |
|---|---|---|
| آیا مدل به همراه فضای کافی برای کش کلید-مقدار (KV cache) مورد نیازتان، روی یک GPU جا میشود؟ | از موازیسازی داده (Data Parallelism) استفاده کنید: یک نسخهی کامل برای هر GPU با پرچم --data-parallel-size N. خروجی متناسب با تعداد نسخهها افزایش مییابد. |
مدل را بین چند GPU خرد کنید. پرسش بعدی مشخص میکند این تقسیم کجا انجام شود. |
| آیا مدل خردشده درون یک ماشین جا میشود؟ | تقسیم مدل را به همان ماشین محدود نگه دارید. پرسش بعدی چینش را مشخص میکند. | مطابق فهرست زیر جدول، موازیسازی پایپلاین (Pipeline Parallelism) را بین ماشینها اضافه کنید. |
| آیا کارتهای GPU به NVLink مجهز هستند و تعداد GPUها مدل را بهطور مساوی بخشپذیر میکند؟ | از موازیسازی تنسور (Tensor Parallelism) با پرچم --tensor-parallel-size N استفاده کنید. |
از موازیسازی پایپلاین درون یک ماشین با پرچم --pipeline-parallel-size N استفاده کنید. |
وقتی مدل به بیش از یک ماشین نیاز دارد:
- مقدار
--pipeline-parallel-sizeرا برابر تعداد ماشینها، و--tensor-parallel-sizeرا برابر تعداد GPUهای هر ماشین قرار دهید. - اندازهی موازیسازی تنسور باید تعداد هدهای اتنشن (attention head) مدل را بهطور مساوی عاد کند (بر آن بخشپذیر باشد).
- اگر تعداد GPUهای هر ماشین آن را بخشپذیر نمیکند، از
--tensor-parallel-size 1استفاده کنید و اندازهی پایپلاین را برابر کل تعداد GPUها قرار دهید.
هزینهی هر شیوهی چینش را بشناسید
| شیوهی چینش | چه چیزی را خرد میکند | وضعیت ارتباطات | بهترین کاربرد برای |
|---|---|---|---|
| تنسور | هر لایه را بین چند GPU تقسیم میکند | بعد از هر لایه؛ بنابراین به لینکی سریع مثل NVLink نیاز دارد | مدلی که برای یک GPU بیشازحد بزرگ است، درون یک ماشین |
| پایپلاین | لایهها را به مراحلی روی GPUهای مختلف تقسیم میکند | فقط یک بار به ازای هر مرز بین مراحل | مدلی که برای یک ماشین بیشازحد بزرگ است، یا GPUهای درون یک ماشین بدون NVLink |
| داده | هیچچیز، هر GPU یک نسخهی کامل را نگه میدارد | بدون ارتباط بین نسخهها | خروجی بیشتر از مدلی که جا میشود |
| خبره | کارشناسان (expertها) را در مدلهای ترکیبی از خبرهها (MoE) تقسیم میکند | قبل و بعد از لایههای خبره | مدلهای بزرگ MoE؛ پوششدادهشده در صفحهی MoE |
موازیسازی تنسور وزنها و کش کلید-مقدار را نیز تقسیم میکند؛ بنابراین هر GPU فضای بیشتری برای کش خواهد داشت. وقتی وزنها بیشتر فضای یک GPU را پر میکنند، دو GPU میتوانند فضایی برای کش کلید-مقدار فراهم کنند که چندین برابر یک GPU است.
لینک ارتباطی بین GPUها را بررسی کنید
موازیسازی تنسور بعد از هر لایه داده ارسال میکند. روی GPUهایی که صرفاً با PCIe متصل شدهاند، مثل دو کارت L4 در یک میزبان، بار این ترافیک میتواند از سودی که خرد کردن مدل دارد بیشتر باشد. مستندات vLLM روی چنین ماشینی موازیسازی پایپلاین را پیشنهاد میکند؛ چرا که فقط در مرزهای بین مراحل داده میفرستد. موازیسازی پایپلاین همچنین تعداد GPUهایی را که مدل را بهطور مساوی بخشپذیر نمیکنند میپذیرد. پیش از انتخاب نهایی روی چنین ماشینی، این شیوهها را نسبت به هم بسنجید.
روی سختافزار ما اندازهگیری نشده است. ما vLLM را روی دو کارت L4 با موازیسازی تنسور یا موازیسازی داده اجرا نکردهایم.
راهاندازی ماشین دوم
سرویس vLLM یک سرور را بین چند ماشین اجرا میکند؛ این کار یا با Ray انجام میشود (که گزینهی پیشفرض برای بیش از یک ماشین است) یا با لانچر چندفرایندی خود vLLM. ما هیچکدام را اجرا نکردهایم. مراحل زیر از مستندات نسخهی 0.31.0 فریمورک vLLM گرفته شده و برای دو ماشین با 8 پردازندهی گرافیکی روی هر کدام است.
ابتدا بررسی کنید که GPUها میتوانند با یکدیگر ارتباط برقرار کنند یا نه. راهنمای عیبیابی vLLM یک اسکریپت تست کوتاه دارد که فراخوانیهای all-reduce را با NCCL و Gloo اجرا میکند. این اسکریپت را با نام test.py روی هر ماشین ذخیره کنید. سپس آن را همزمان روی هر دو ماشین اجرا کنید؛ با NODE_RANK=0 روی ماشین اول و NODE_RANK=1 روی ماشین دوم:
NCCL_DEBUG=TRACE torchrun --nnodes 2 --nproc-per-node 8 \
--rdzv_backend=static --rdzv_endpoint=<head-ip>:29400 \
--node-rank $NODE_RANK test.py
وقتی شبکه و درایورها درست کار کنند، هر فرایند چهار سطر موفقیتآمیز چاپ میکند که اولین سطر آن PyTorch NCCL is successful! است. متن راهنما نام خط دیگری را آورده است؛ به سطرهایی که اسکریپت چاپ میکند اعتماد کنید.
با Ray. در مخزن vLLM اسکریپتی به نام run_cluster.sh وجود دارد که ایمیج vLLM و یک نود Ray را روی هر ماشین راهاندازی میکند. به هر ماشین متغیر VLLM_HOST_IP اختصاصی خودش را در یک شبکهی خصوصی اختصاص دهید. روی ماشین اول این دستور را اجرا کنید:
bash run_cluster.sh vllm/vllm-openai:v0.31.0 <head-ip> --head ~/.cache/huggingface -e VLLM_HOST_IP=<head-ip>
روی ماشین دوم این دستور را اجرا کنید:
bash run_cluster.sh vllm/vllm-openai:v0.31.0 <head-ip> --worker ~/.cache/huggingface -e VLLM_HOST_IP=<worker-ip>
هر دو شل (shell) را باز نگه دارید، چرا که بستن هر کدام کلاستر را متوقف میکند. سپس از داخل کانتینر بررسی کنید که Ray تمام نودها و GPUها را شناسایی کرده باشد:
ray status
سرور را فقط روی یک ماشین بالا بیاورید. این سرور از GPUهای تمام ماشینها بهره میبرد:
vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 \
--tensor-parallel-size 8 --pipeline-parallel-size 2 \
--distributed-executor-backend ray
بدون Ray. دستور vllm serve را روی هر دو ماشین با همان مدل و اندازهها اجرا کنید. روی ماشین اول پرچمهای --nnodes 2 --node-rank 0 --master-addr <head-ip> را اضافه کنید. روی ماشین دوم عبارت --nnodes 2 --node-rank 1 --master-addr <head-ip> --headless را بیفزایید؛ این ماشین فقط ورکرها را اجرا میکند و خبری از API سرور نخواهد بود.
ترافیک بین ماشینها رمزگذاری نمیشود و میتواند روی طرف مقابل کد اجرا کند. آن را روی یک شبکهی خصوصی نگه دارید که دست سیستمهای غیرقابلاعتماد به آن نرسد.
شمارش فرایندها
در موازیسازی داده، vLLM برای هر نسخه یک هستهی موتور (engine core) و یک هماهنگکننده راه میاندازد تا آنها را هماهنگ نگه دارد. در موازیسازی تنسور، به ازای هر GPU یک ورکر زیر نظر یک هستهی موتور راه میاندازد. صفحهی فرایندها این تعداد را مشخص کرده است.
استفاده از موازیسازی کانتکست برای پرامپتهای بسیار طولانی
برای پرامپتهایی با صدها هزار توکن، vLLM میتواند یک توالی را با موازیسازی کانتکست در مراحل پیشپرکنی (prefill) و رمزگشایی (decode) بین GPUها خرد کند. این شیوه را تنها زمانی به کار ببرید که چالش اصلی یک درخواست طولانی است، نه تعداد زیادی درخواست کوتاه.
منابع: سورسکد vLLM در نسخهی v0.31.0 (مسیرهای vllm/config/parallel.py، vllm/engine/arg_utils.py و examples/ray_serving/run_cluster.sh)، و مستندات vLLM در نسخهی v0.31.0 (مسیرهای docs/serving/parallelism_scaling.md، docs/usage/troubleshooting.md، docs/serving/distributed_troubleshooting.md، docs/serving/data_parallel_deployment.md و docs/serving/context_parallel_deployment.md).