سؤال مصاحبه

انتخاب بین موازی‌سازی تنسور، پایپ‌لاین یا داده

Choose tensor, pipeline or data parallelism

  • سطح ۲: میانی
  • طراحی
  • ۱۰ دقیقه

مدلی دارید که روی یک GPU جا نمی‌شود، یا به نرخ پردازشی (throughput) بیشتر از توان یک GPU نیاز دارید. در این مطلب بررسی می‌کنیم که چگونه بین موازی‌سازی تنسور (Tensor Parallelism)، پایپ‌لاین (Pipeline Parallelism) و داده (Data Parallelism) دست به انتخاب بزنید و هرکدام چه هزینه‌ای از نظر ارتباطی تحمیل می‌کنند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه پرسش زیر را مطرح کنید: اگر مدل همراه با فضای موردنیاز برای کش کلید-مقدار (KV cache) روی یک GPU جا می‌شود، از موازی‌سازی داده استفاده کنید؛ یعنی یک نسخه‌ی کامل به‌ازای هر GPU، که در این حالت خروجی هم‌گام با تعداد نسخه‌ها رشد می‌کند. اگر جا نمی‌شود، آن را خرد کنید: وقتی GPUها اتصال پرسرعت دارند و تعدادشان هدهای اتنشن (attention heads) را عادلاً تقسیم می‌کند، موازی‌سازی تنسور را داخل یک ماشین به کار بگیرید؛ اما اگر چنین اتصالی ندارند یا مدل به بیش از یک ماشین نیاز دارد، سراغ موازی‌سازی پایپ‌لاین بروید. موازی‌سازی تنسور پس از هر لایه تبادل داده دارد، موازی‌سازی پایپ‌لاین تنها یک بار در مرز هر مرحله ارتباط برقرار می‌کند، و موازی‌سازی داده اصلاً هیچ تبادلی بین نسخه‌ها ندارد.

پاسخ کامل

سه پرسش اساسی

پرسش در صورت پاسخ مثبت در صورت پاسخ منفی
آیا مدل همراه با فضای کش کلید-مقدار لازم، روی یک GPU جا می‌شود؟ موازی‌سازی داده: یک نسخه به‌ازای هر GPU با پرچم --data-parallel-size N. مدل را خرد کنید؛ پرسش بعدی محل تقسیم را مشخص می‌کند.
آیا مدل خردشده درون یک ماشین جا می‌شود؟ تقسیم را درون همان ماشین نگه دارید؛ پرسش بعدی چیدمان آن را تعیین می‌کند. موازی‌سازی پایپ‌لاین را بین چند ماشین اضافه کنید.
آیا GPUها اتصال NVLink دارند و تعدادشان مدل را به‌طور یکنواخت تقسیم می‌کند؟ موازی‌سازی تنسور با پرچم --tensor-parallel-size N. موازی‌سازی پایپ‌لاین درون ماشین با پرچم --pipeline-parallel-size N.

در حالت چندماشینی: اندازه‌ی پایپ‌لاین را برابر با تعداد ماشین‌ها و اندازه‌ی تنسور را برابر با تعداد GPUهای هر ماشین بگذارید. تعداد هدهای اتنشن باید بر اندازه‌ی تنسور بخش‌پذیر باشد. اگر تعداد GPUهای درون ماشین این شرط را برآورده نمی‌کند، اندازه‌ی تنسور را 1 بگذارید و کل تعداد GPUها را به اندازه‌ی پایپ‌لاین اختصاص دهید.

هزینه‌ی ارتباطی هر چیدمان

چیدمان چه چیزی را خرد می‌کند؟ ارتباطات مناسب‌ترین برای
تنسور هر لایه را بین GPUها پس از هر لایه؛ بنابراین به اتصال پرسرعت نیاز دارد مدلی که روی یک GPU جا نمی‌شود، درون یک ماشین
پایپ‌لاین لایه‌ها را در چند مرحله یک بار در مرز هر مرحله مدلی که روی یک ماشین جا نمی‌شود، یا GPUهای بدون اتصال پرسرعت
داده هیچ‌چیز، هر GPU یک نسخه نگه می‌دارد بدون ارتباط بین نسخه‌ها خروجی بیشتر از مدلی که جا می‌شود
خبره خبره‌های مدل آمیخته از خبره‌ها قبل و بعد از لایه‌های خبره مدل‌های بزرگ مبتنی بر معماری خبره

موازی‌سازی تنسور کش کلید-مقدار را هم خرد می‌کند؛ بنابراین هر GPU فضای بیشتری برای آن خواهد داشت. وقتی وزن‌های مدل بیشترِ فضای یک GPU را پر می‌کنند، دو عدد GPU می‌توانند چند برابر ظرفیت یک کارت فضا آزاد کنند. استثنای این حالت، مدل‌های مجهز به اتنشن چندسر نهفته (Multi-head Latent Attention) هستند: این ساختار به‌ازای هر توکن یک نمایش نهفته‌ی فشرده ذخیره می‌کند که بین هدها قابل تقسیم نیست؛ در نتیجه هر رتبه‌ی (rank) موازی‌سازی تنسور کل کش را نگه می‌دارد و اضافه کردن رتبه‌ها هیچ توکنی به ظرفیت اضافه نمی‌کند. چاره‌ی این حالت، موازی‌سازی داده در سطح اتنشن است.

موازی‌سازی تنسور بعد از هر لایه داده می‌فرستد. روی GPUهایی که فقط با گذرگاه PCIe به هم وصل شده‌اند — مثل دو کارت L4 روی یک هاست — این ترافیک ارتباطی می‌تواند بیشتر از سود خرد کردن لایه‌ها هزینه بتراشد. مستندات vLLM برای چنین سیستمی موازی‌سازی پایپ‌لاین را پیشنهاد می‌دهد؛ چرا که فقط در مرز مراحل داده می‌فرستد و با تعداد GPUهایی هم که مدل را به‌طور یکنواخت تقسیم نمی‌کنند کنار می‌آید. راهنما هیچ‌کدام از این دو چیدمان را روی دو کارت L4 خود اجرا نکرده است؛ بنابراین پیش از انتخاب، عملکرد آن‌ها را با هم مقایسه و اندازه‌گیری کنید.

راه‌اندازی ماشین دوم

ابتدا اسکریپت آزمون عمل اشتراکی (collective test) را روی هر دو ماشین اجرا کنید. وقتی شبکه و درایورها درست کار کنند، هر فرایند (process) خطوط موفقیت را چاپ می‌کند. سپس سرور را با ابزار راه‌اندازی اجرا کنید که بین ماشین‌ها امتداد داشته باشد (اسپن کند)، و API را تنها روی یکی از ماشین‌ها بالا بیاورید. ترافیک بین ماشین‌ها رمزگذاری نمی‌شود و می‌تواند روی ماشین دیگر کد اجرا کند؛ بنابراین حتماً آن را روی یک شبکه‌ی خصوصی نگه دارید.

شمارش فرایندها

در موازی‌سازی داده، vLLM به‌ازای هر نسخه یک هسته‌ی موتور و یک هماهنگ‌کننده بالا می‌آورد تا آن‌ها را هماهنگ نگه دارد. در موازی‌سازی تنسور، به‌ازای هر GPU یک ورکر زیر نظر یک هسته‌ی موتور اجرا می‌کند. در SGLang، اندازه‌ی جهان (world size) حاصل‌ضرب --tp-size در --pp-size است؛ همچنین به‌ازای نسخه‌های --dp-size، یک کنترل‌کننده قرار می‌گیرد که درخواست‌ها را به‌طور پیش‌فرض به‌صورت نوبت‌گردشی (round-robin) به نسخه‌ها می‌فرستد. این کنترل‌کننده کاری به وضعیت مخازن حافظه یا صف‌ها ندارد. روی دو کارت L4 در مستند راهنما، که یکی از کارت‌ها اشتراکی بود و نسخه‌ی روی آن تنها مخزنی معادل 2,925 توکن در برابر 24,094 توکن کارت دیگر داشت، این جفت کارت در تمام سطوح بار کاری خروجی کمتری نسبت به یک کارت تنها ارائه داد.

اختصاص GPUهای کامل به گروه تنسور

قبل از اینکه SGLang وزن‌ها را برای یک گروه تنسور بارگذاری کند، هر رتبه حافظه‌ی آزاد خود را اندازه می‌گیرد و گروه کمترین مقدار را مبنا قرار می‌دهد. اگر این مقدار کمتر از 90 درصد حافظه‌ی آزاد محلی باشد، سرور متوقف می‌شود. در آن جفت کارت اشتراکی، کارت دوم 18.28 گیگابایت فضای خالی داشت درحالی‌که بررسی به 19.53 گیگابایت نیاز داشت؛ به همین دلیل --tp-size 2 راه‌اندازی نشد و هیچ پرچمی هم این بررسی را غیرفعال نمی‌کند. هر رتبه سهم یکسانی از وزن‌ها و مخزن حافظه را نگه می‌دارد؛ در نتیجه کم‌ظرفیت‌ترین کارت، اندازه را برای بقیه تعیین می‌کند.

پرامپت‌های بسیار طولانی

برای پرامپت‌هایی با صدها هزار توکن، vLLM می‌تواند یک دنباله را با موازی‌سازی بافت (Context Parallelism) بین چند GPU تقسیم کند. این رویکرد فقط زمانی به کار می‌آید که چالش کار یک درخواست طولانی باشد، نه تعداد زیادی درخواست کوتاه.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: دو GPU روی یک هاست دارید که فقط با PCIe متصل شده‌اند و مدل روی یکی از آن‌ها جا می‌شود. چه رویکردی را اجرا می‌کنید؟ پاسخ موردانتظار: موازی‌سازی داده با دو نسخه‌ی کامل، چون هیچ داده‌ای بین نسخه‌ها جابه‌جا نمی‌شود؛ موازی‌سازی تنسور روی این اتصال کُند باید بعد از هر لایه هزینه‌ی ارتباطی بدهد.
  • سطح 3: مدل به دو ماشین 8 عددی از GPUها نیاز دارد. اندازه‌ها را چطور تنظیم می‌کنید و اول چه چیزی را می‌سنجید؟ پاسخ موردانتظار: اندازه‌ی پایپ‌لاین 2 برای ماشین‌ها و اندازه‌ی تنسور 8 درون هر ماشین، به‌شرطی که 8 هدهای اتنشن را عادلاً تقسیم کند؛ ابتدا اسکریپت آزمون عمل اشتراکی را روی هر دو ماشین اجرا می‌کنیم و ترافیک را روی یک شبکه‌ی خصوصی نگه می‌داریم، چون رمزگذاری نمی‌شود.
  • سطح 3: موازی‌سازی تنسور روی دو GPU که یکی از آن‌ها با کار دیگری به اشتراک گذاشته شده است. SGLang موقع راه‌اندازی چه می‌کند؟ پاسخ موردانتظار: حافظه‌ی آزاد هر رتبه را اندازه می‌گیرد، کمترین مقدار را نگه می‌دارد و اگر زیر 90 درصد حافظه‌ی آزاد محلی باشد متوقف می‌شود، چون هر رتبه باید سهم و مخزن یکسانی داشته باشد؛ باید GPUهای کامل را به گروه اختصاص دهید.
  • سطح 4: چرا موازی‌سازی تنسور وقتی سازوکار اتنشن برای هر توکن یک نمایش نهفته نگه می‌دارد، ظرفیتی به کش کلید-مقدار اضافه نمی‌کند؟ پاسخ موردانتظار: چون این سازوکار اتنشن به‌ازای هر توکن یک نمایش نهفته‌ی فشرده ذخیره می‌کند که بین هدها قابل تقسیم نیست؛ بنابراین هر رتبه باید کل کش را نگه دارد. موازی‌سازی داده در سطح اتنشن به هر گروه درخواست‌ها و کش مستقل می‌دهد؛ در نتیجه ظرفیت متناسب با گروه‌ها رشد می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «موازی‌سازی تنسور روش پیش‌فرض برای استفاده از GPUهای بیشتر است.» این روش فقط برای جا دادن مدل کاربرد دارد؛ وقتی مدل جا می‌شود، موازی‌سازی داده بدون هیچ ترافیکی بین نسخه‌ها خروجی را بالا می‌برد و موازی‌سازی تنسور روی بستر PCIe می‌تواند بیشتر از فایده‌اش هزینه بتراشد.
  • «نسخه‌های بیشتر همیشه یعنی نرخ پردازش بالاتر.» فقط وقتی این‌طور است که همه‌ی نسخه‌ها مخزن حافظه‌ی تقریباً یکسانی داشته باشند؛ در جفتی که یکی از نسخه‌ها یک‌هشتم مخزن را داشت، بازدهی کمتر از یک کارت تکی شد، چون کنترل‌کننده‌ی نوبت‌گردشی نیمی از درخواست‌ها را به همان می‌فرستاد.
  • «موازی‌سازی پایپ‌لاین فقط برای چند ماشین است.» درون یک ماشین هم وقتی GPUها اتصال پرسرعت ندارند یا تعدادشان مدل را به‌طور یکنواخت تقسیم نمی‌کند، گزینه‌ی مناسب همین است.
  • «موازی‌سازی تنسور با هر تعداد GPU کار می‌کند.» تعداد هدهای اتنشن مدل باید بر اندازه‌ی تنسور بخش‌پذیر باشد؛ در غیر این صورت اندازه‌ی تنسور را 1 بگذارید و کل کارت‌ها را به اندازه‌ی پایپ‌لاین اختصاص دهید.

کجای دوره آموزش داده می‌شود

بخش انتخاب بین موازی‌سازی تنسور، پایپ‌لاین یا داده درخت تصمیم را تشریح می‌کند، و بخش موازی‌سازی در SGLang بررسی توازن حافظه و سناریوی جفت نابرابر را اضافه می‌کند.