بخش 6.1 · مقیاس‌پذیری افقی

انتخاب بین موازی‌سازی تنسور، پایپ‌لاین یا داده

Choose tensor, pipeline, or data parallelism

فهرست مطالب
  1. پاسخ به سه پرسش
  2. هزینه‌ی هر شیوه‌ی چینش را بشناسید
  3. لینک ارتباطی بین GPUها را بررسی کنید
  4. راه‌اندازی ماشین دوم
  5. شمارش فرایندها
  6. استفاده از موازی‌سازی کانتکست برای پرامپت‌های بسیار طولانی

موازی‌سازی تنسور مدلی را که در حافظه جا نمی‌شود خرد می‌کند؛ موازی‌سازی داده از مدلی که جا می‌شود کپی می‌گیرد.

یک GPU کافی نیست. با تمام کردن این بخش، می‌توانید با یک درخت تصمیم (decision tree) کوتاه، چینش موازی‌سازی مناسب را انتخاب کنید.

پاسخ به سه پرسش

پرسش در صورت بله در صورت خیر
آیا مدل به همراه فضای کافی برای کش کلید-مقدار (KV cache) مورد نیازتان، روی یک GPU جا می‌شود؟ از موازی‌سازی داده (Data Parallelism) استفاده کنید: یک نسخه‌ی کامل برای هر GPU با پرچم --data-parallel-size N. خروجی متناسب با تعداد نسخه‌ها افزایش می‌یابد. مدل را بین چند GPU خرد کنید. پرسش بعدی مشخص می‌کند این تقسیم کجا انجام شود.
آیا مدل خردشده درون یک ماشین جا می‌شود؟ تقسیم مدل را به همان ماشین محدود نگه دارید. پرسش بعدی چینش را مشخص می‌کند. مطابق فهرست زیر جدول، موازی‌سازی پایپ‌لاین (Pipeline Parallelism) را بین ماشین‌ها اضافه کنید.
آیا کارت‌های GPU به NVLink مجهز هستند و تعداد GPUها مدل را به‌طور مساوی بخش‌پذیر می‌کند؟ از موازی‌سازی تنسور (Tensor Parallelism) با پرچم --tensor-parallel-size N استفاده کنید. از موازی‌سازی پایپ‌لاین درون یک ماشین با پرچم --pipeline-parallel-size N استفاده کنید.

وقتی مدل به بیش از یک ماشین نیاز دارد:

  • مقدار --pipeline-parallel-size را برابر تعداد ماشین‌ها، و --tensor-parallel-size را برابر تعداد GPUهای هر ماشین قرار دهید.
  • اندازه‌ی موازی‌سازی تنسور باید تعداد هدهای اتنشن (attention head) مدل را به‌طور مساوی عاد کند (بر آن بخش‌پذیر باشد).
  • اگر تعداد GPUهای هر ماشین آن را بخش‌پذیر نمی‌کند، از --tensor-parallel-size 1 استفاده کنید و اندازه‌ی پایپ‌لاین را برابر کل تعداد GPUها قرار دهید.
سه پرسشسه پرسش چیدمان را تعیین می‌کنند، و درون یک ماشین نوع ارتباط میان GPUها و نحوه‌ی تقسیم، موازی‌سازی تنسور یا پایپ‌لاین را مشخص می‌سازد.
سه پرسش برای انتخاب چیدمان موازی‌سازی ابتدا بپرسید آیا مدل و کش کلید-مقدار مورد نیاز در یک GPU جا می‌شوند یا خیر. در صورت پاسخ مثبت، با موازی‌سازی داده نسخه‌های بیشتری اضافه کنید. اگر خیر، بپرسید آیا مدل تکه‌شده درون یک ماشین جا می‌شود یا خیر. اگر خیر، موازی‌سازی پایپ‌لاین را در میان ماشین‌ها به همراه موازی‌سازی تنسور درون هر کدام به کار ببرید. اگر بله، بررسی کنید آیا GPUها NVLink دارند و تعداد GPUها مدل را به‌طور متقارن تقسیم می‌کند یا خیر. در صورت مثبت بودن، از موازی‌سازی تنسور استفاده کنید؛ در غیر این صورت، درون ماشین از موازی‌سازی پایپ‌لاین بهره ببرید. مدل با کِشش در یک GPU جا می‌شود؟ موازی‌سازی داده --data-parallel-size N مدل تکه‌شده در یک ماشین جا می‌شود؟ NVLink و تقسیم‌پذیری متقارن؟ پایپ‌لاین + تنسور در میان ماشین‌ها موازی‌سازی تنسور --tensor-parallel-size موازی‌سازی پایپ‌لاین --pipeline-parallel-size بله no بله no بله no خروجی بیشتر از مدلی که جا می‌شود.
از بالا شروع کنید و پاسخ را دنبال نمایید. برگرفته از مستندات vLLM نسخه‌ی v0.31.0.

هزینه‌ی هر شیوه‌ی چینش را بشناسید

شیوه‌ی چینش چه چیزی را خرد می‌کند وضعیت ارتباطات بهترین کاربرد برای
تنسور هر لایه را بین چند GPU تقسیم می‌کند بعد از هر لایه؛ بنابراین به لینکی سریع مثل NVLink نیاز دارد مدلی که برای یک GPU بیش‌ازحد بزرگ است، درون یک ماشین
پایپ‌لاین لایه‌ها را به مراحلی روی GPUهای مختلف تقسیم می‌کند فقط یک بار به ازای هر مرز بین مراحل مدلی که برای یک ماشین بیش‌ازحد بزرگ است، یا GPUهای درون یک ماشین بدون NVLink
داده هیچ‌چیز، هر GPU یک نسخه‌ی کامل را نگه می‌دارد بدون ارتباط بین نسخه‌ها خروجی بیشتر از مدلی که جا می‌شود
خبره کارشناسان (expertها) را در مدل‌های ترکیبی از خبره‌ها (MoE) تقسیم می‌کند قبل و بعد از لایه‌های خبره مدل‌های بزرگ MoE؛ پوشش‌داده‌شده در صفحه‌ی MoE

موازی‌سازی تنسور وزن‌ها و کش کلید-مقدار را نیز تقسیم می‌کند؛ بنابراین هر GPU فضای بیشتری برای کش خواهد داشت. وقتی وزن‌ها بیشتر فضای یک GPU را پر می‌کنند، دو GPU می‌توانند فضایی برای کش کلید-مقدار فراهم کنند که چندین برابر یک GPU است.

موازی‌سازی تنسور بعد از هر لایه داده ارسال می‌کند. روی GPUهایی که صرفاً با PCIe متصل شده‌اند، مثل دو کارت L4 در یک میزبان، بار این ترافیک می‌تواند از سودی که خرد کردن مدل دارد بیشتر باشد. مستندات vLLM روی چنین ماشینی موازی‌سازی پایپ‌لاین را پیشنهاد می‌کند؛ چرا که فقط در مرزهای بین مراحل داده می‌فرستد. موازی‌سازی پایپ‌لاین همچنین تعداد GPUهایی را که مدل را به‌طور مساوی بخش‌پذیر نمی‌کنند می‌پذیرد. پیش از انتخاب نهایی روی چنین ماشینی، این شیوه‌ها را نسبت به هم بسنجید.

روی سخت‌افزار ما اندازه‌گیری نشده است. ما vLLM را روی دو کارت L4 با موازی‌سازی تنسور یا موازی‌سازی داده اجرا نکرده‌ایم.

راه‌اندازی ماشین دوم

سرویس vLLM یک سرور را بین چند ماشین اجرا می‌کند؛ این کار یا با Ray انجام می‌شود (که گزینه‌ی پیش‌فرض برای بیش از یک ماشین است) یا با لانچر چندفرایندی خود vLLM. ما هیچ‌کدام را اجرا نکرده‌ایم. مراحل زیر از مستندات نسخه‌ی 0.31.0 فریم‌ورک vLLM گرفته شده و برای دو ماشین با 8 پردازنده‌ی گرافیکی روی هر کدام است.

ابتدا بررسی کنید که GPUها می‌توانند با یکدیگر ارتباط برقرار کنند یا نه. راهنمای عیب‌یابی vLLM یک اسکریپت تست کوتاه دارد که فراخوانی‌های all-reduce را با NCCL و Gloo اجرا می‌کند. این اسکریپت را با نام test.py روی هر ماشین ذخیره کنید. سپس آن را هم‌زمان روی هر دو ماشین اجرا کنید؛ با NODE_RANK=0 روی ماشین اول و NODE_RANK=1 روی ماشین دوم:

NCCL_DEBUG=TRACE torchrun --nnodes 2 --nproc-per-node 8 \
  --rdzv_backend=static --rdzv_endpoint=<head-ip>:29400 \
  --node-rank $NODE_RANK test.py

وقتی شبکه و درایورها درست کار کنند، هر فرایند چهار سطر موفقیت‌آمیز چاپ می‌کند که اولین سطر آن PyTorch NCCL is successful! است. متن راهنما نام خط دیگری را آورده است؛ به سطرهایی که اسکریپت چاپ می‌کند اعتماد کنید.

با Ray. در مخزن vLLM اسکریپتی به نام run_cluster.sh وجود دارد که ایمیج vLLM و یک نود Ray را روی هر ماشین راه‌اندازی می‌کند. به هر ماشین متغیر VLLM_HOST_IP اختصاصی خودش را در یک شبکه‌ی خصوصی اختصاص دهید. روی ماشین اول این دستور را اجرا کنید:

bash run_cluster.sh vllm/vllm-openai:v0.31.0 <head-ip> --head ~/.cache/huggingface -e VLLM_HOST_IP=<head-ip>

روی ماشین دوم این دستور را اجرا کنید:

bash run_cluster.sh vllm/vllm-openai:v0.31.0 <head-ip> --worker ~/.cache/huggingface -e VLLM_HOST_IP=<worker-ip>

هر دو شل (shell) را باز نگه دارید، چرا که بستن هر کدام کلاستر را متوقف می‌کند. سپس از داخل کانتینر بررسی کنید که Ray تمام نودها و GPUها را شناسایی کرده باشد:

ray status

سرور را فقط روی یک ماشین بالا بیاورید. این سرور از GPUهای تمام ماشین‌ها بهره می‌برد:

vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 \
  --tensor-parallel-size 8 --pipeline-parallel-size 2 \
  --distributed-executor-backend ray

بدون Ray. دستور vllm serve را روی هر دو ماشین با همان مدل و اندازه‌ها اجرا کنید. روی ماشین اول پرچم‌های --nnodes 2 --node-rank 0 --master-addr <head-ip> را اضافه کنید. روی ماشین دوم عبارت --nnodes 2 --node-rank 1 --master-addr <head-ip> --headless را بیفزایید؛ این ماشین فقط ورکرها را اجرا می‌کند و خبری از API سرور نخواهد بود.

ترافیک بین ماشین‌ها رمزگذاری نمی‌شود و می‌تواند روی طرف مقابل کد اجرا کند. آن را روی یک شبکه‌ی خصوصی نگه دارید که دست سیستم‌های غیرقابل‌اعتماد به آن نرسد.

شمارش فرایندها

در موازی‌سازی داده، vLLM برای هر نسخه یک هسته‌ی موتور (engine core) و یک هماهنگ‌کننده راه می‌اندازد تا آن‌ها را هماهنگ نگه دارد. در موازی‌سازی تنسور، به ازای هر GPU یک ورکر زیر نظر یک هسته‌ی موتور راه می‌اندازد. صفحه‌ی فرایندها این تعداد را مشخص کرده است.

استفاده از موازی‌سازی کانتکست برای پرامپت‌های بسیار طولانی

برای پرامپت‌هایی با صدها هزار توکن، vLLM می‌تواند یک توالی را با موازی‌سازی کانتکست در مراحل پیش‌پرکنی (prefill) و رمزگشایی (decode) بین GPUها خرد کند. این شیوه را تنها زمانی به کار ببرید که چالش اصلی یک درخواست طولانی است، نه تعداد زیادی درخواست کوتاه.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/config/parallel.py، vllm/engine/arg_utils.py و examples/ray_serving/run_cluster.sh)، و مستندات vLLM در نسخه‌ی v0.31.0 (مسیرهای docs/serving/parallelism_scaling.md، docs/usage/troubleshooting.md، docs/serving/distributed_troubleshooting.md، docs/serving/data_parallel_deployment.md و docs/serving/context_parallel_deployment.md).

ترجمه‌ی فارسی Choose tensor, pipeline, or data parallelism از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما