سؤال مصاحبه

تقسیم مدل یا اجرای دو نسخه روی دو کارت گرافیک

Split the model or copy it across two cards

  • سطح ۳: ارشد
  • طراحی
  • ۱۰ دقیقه

دو کارت گرافیک L4 روی یک سرور میزبان دارید که فقط با PCIe به هم متصل هستند، و یک مدل 8B که روی یک کارت جا می‌شود اما استخر کش کلید-مقدار (KV cache) آن برای کاربران شما بسیار کوچک است. آیا مدل را بین هر دو کارت تقسیم می‌کنید یا دو نسخه از آن را اجرا می‌کنید؟ ابتدا حافظه را در نظر بگیرید، سپس ارتباط بین کارت‌ها را.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

موازی‌سازی تنسور (Tensor parallelism) وزن‌ها و کش کلید-مقدار را بین دو کارت تقسیم می‌کند؛ بنابراین هر کارت نیمی از وزن‌ها را نگه می‌دارد و فضای کش آن چند برابر می‌شود. این همان چینشی است که استخر کش به ازای هر درخواست را بزرگ‌تر می‌کند. در مقابل، موازی‌سازی داده (Data parallelism) یک نسخه‌ی کامل از وزن‌ها را روی هر کارت نگه می‌دارد و تنها در صورتی ظرفیت پذیرش کاربران را دو برابر می‌کند که استخر هر نسخه از قبل پاسخگوی نیاز آن‌ها باشد. موازی‌سازی تنسور روی بستر PCIe، بعد از هر لایه یک عمل اشتراکی (Collective) اجرا می‌کند که هزینه‌ی ارتباطی آن ممکن است از سود تقسیم مدل بیشتر شود؛ به همین دلیل مستندات پیشنهاد می‌کنند روی چنین سیستمی از موازی‌سازی پایپ‌لاین (Pipeline parallelism) استفاده کنید، چرا که داده‌ها را فقط در مرز استیج‌ها جابه‌جا می‌کند. از آنجا که هیچ‌کدام از راهنماها این دو چینش را روی دو کارت L4 نسنجیده‌اند، من موازی‌سازی تنسور، پایپ‌لاین و اجرای دو نسخه را با بار کاری واقعی محک می‌زدم. ضمناً برای هر نوع تقسیم مدل باید کارت‌های گرافیک را کامل و اختصاصی در نظر بگیرید، چون یک گروه تنسور ظرفیت تمام رتبه‌ها (Ranks) را بر اساس کوچک‌ترین کارت تنظیم می‌کند.

پاسخ کامل

تأثیر هر چینش بر حافظه

چینش وزن‌ها به ازای هر GPU کش کلید-مقدار به ازای هر GPU چه چیزی افزایش می‌یابد
تنسور برشی از هر لایه برشی از کش هر لایه استخر کش به ازای هر درخواست؛ وقتی وزن‌ها بخش عمده‌ی یک GPU را پر کرده باشند، این فضا چند برابر می‌شود
پایپ‌لاین لایه‌های مربوط به همان استیج کش لایه‌های همان استیج استخر کش به ازای هر درخواست؛ ضمناً تعداد نامتقارن GPU را نیز می‌پذیرد
داده یک نسخه‌ی کامل استخر کش کامل و مستقل خود تعداد کاربران؛ تنها در صورتی که استخر یک نسخه از قبل برای آن‌ها کافی باشد

یک استثنا: مدلی با اتنشن چندسر نهفته (Multi-head Latent Attention) متغیر نهفته‌ی کامل را روی تمام رتبه‌های موازی‌سازی تنسور ذخیره می‌کند، بنابراین تقسیم تنسور استخر کش آن را بزرگ‌تر نمی‌کند. اما برای مدلی با اتنشن پرسمان گروه‌بندی‌شده (Grouped-Query) مانند Qwen3-8B، این تقسیم باعث افزایش فضا می‌شود.

درخت تصمیم

پرسش در صورت پاسخ مثبت در صورت پاسخ منفی
آیا مدل به همراه فضای کافی برای کش کلید-مقدار مورد نیاز شما روی یک GPU جا می‌شود؟ موازی‌سازی داده، یک نسخه به ازای هر GPU. مدل را تقسیم کنید.
آیا مدل تقسیم‌شده درون یک ماشین جا می‌شود؟ تقسیم مدل را درون همان ماشین نگه دارید. موازی‌سازی پایپ‌لاین بین چند ماشین.
آیا کارت‌های گرافیک به NVLink مجهز هستند و آیا تعداد GPUها مدل را به‌طور مساوی تقسیم می‌کند؟ موازی‌سازی تنسور. موازی‌سازی پایپ‌لاین درون ماشین.

پاسخ مورد شما به پرسش اول منفی است، زیرا کمبود فضا برای کش، مسئله‌ی اصلی شماست. پاسخ پرسش سوم نیز منفی است، چرا که PCIe پیوند پرسرعتی به حساب نمی‌آید. درخت تصمیم به موازی‌سازی پایپ‌لاین درون ماشین می‌رسد، و راهنما از شما می‌خواهد پیش از انتخاب نهایی، آن را با موازی‌سازی تنسور بسنجید؛ زیرا هیچ‌کدام را روی این جفت کارت اجرا نکرده است.

موازی‌سازی تنسور پس از هر لایه داده ارسال می‌کند، بنابراین به یک پیوند ارتباطی پرسرعت نیاز دارد. روی GPUهایی که فقط با PCIe به هم متصل هستند (مانند دو کارت L4 روی یک سرور)، ترافیک این ارتباطات می‌تواند هزینه‌ای بیش از سود حاصل از تقسیم مدل بتراشد. موازی‌سازی پایپ‌لاین فقط یک بار در مرز هر استیج داده ارسال می‌کند. موازی‌سازی داده نیز اصلاً هیچ داده‌ای بین نسخه‌ها جابه‌جا نمی‌کند.

بررسی تعادل حافظه

قبل از اینکه SGLang وزن‌ها را برای یک گروه تنسور بارگذاری کند، هر رتبه حافظه‌ی آزاد خود را اندازه می‌گیرد و گروه، کمترین مقدار را نگه می‌دارد. اگر این مقدار کمتر از 90 درصد حافظه‌ی آزاد محلی باشد، سرور متوقف می‌شود و هیچ فلگی هم برای غیرفعال کردن این بررسی وجود ندارد. در سناریوی مطرح‌شده در راهنما، کارت دوم میزبان دو پاد متعلق به تیمی دیگر بود و به جای 19.53 گیگابایت مورد نیاز، 18.28 گیگابایت حافظه‌ی آزاد داشت؛ بنابراین تقسیم تنسور اصلاً بالا نیامد. هر رتبه سهم برابری از وزن‌ها و استخر کش یکسانی نگه می‌دارد، به همین دلیل کوچک‌ترین کارت اندازه‌ی نهایی را برای همه تعیین می‌کند. در مقابل، جفت کارت در موازی‌سازی داده چنین بررسی‌ای نداشت و با استخرهایی به ظرفیت 24,094 و 2,925 توکن بالا آمد و در تمام سطوح بار کاری، خروجی کمتری نسبت به یک کارت تکی داد. در هر نوع تقسیم مدل، حتماً کارت‌های گرافیک را به‌صورت کامل و دست‌نخورده به آن اختصاص دهید.

فرایندها

در موازی‌سازی داده، فریم‌ورک vLLM به ازای هر نسخه یک هسته‌ی موتور (Engine core) به همراه یک هماهنگ‌کننده راه‌اندازی می‌کند؛ در موازی‌سازی تنسور، یک ورکر به ازای هر GPU زیر نظر یک هسته‌ی موتور اجرا می‌شود. در SGLang، اندازه‌ی جهان (World size) برابر است با اندازه‌ی تنسور ضربدر اندازه‌ی پایپ‌لاین، و نسخه‌های موازی‌سازی داده کنترلری دریافت می‌کنند که درخواست‌ها را به‌طور پیش‌فرض به روش نوبت‌گردشی (Round robin) توزیع می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: مدل روی یک کارت جا می‌شود. چرا درخت تصمیم همچنان ممکن است بگوید مدل را تقسیم کنید؟ پاسخ مورد انتظار: پرسش اول می‌پرسد آیا مدل همراه با فضای کافی برای کش کلید-مقدار مورد نیاز جا می‌شود یا نه؛ اگر استخر کش گنجایش کاربران شما را نداشته باشد، پاسخ منفی است؛ در نتیجه درخت به سمت تقسیم مدل می‌رود و تنها موازی‌سازی تنسور یا پایپ‌لاین است که استخر کش را به ازای هر درخواست بزرگ‌تر می‌کند.
  • سطح 3: چرا تقسیم تنسور روی یک ماشین اشتراکی نیازمند GPUهای کامل و اختصاصی است؟ پاسخ مورد انتظار: هر رتبه سهم برابری از وزن‌ها و استخر کش یکسانی نگه می‌دارد، بنابراین کوچک‌ترین کارت اندازه را برای بقیه تعیین می‌کند؛ SGLang حافظه‌ی آزاد را روی هر رتبه می‌سنجد و اگر رتبه‌ای کمتر از 90 درصد حافظه‌ی آزاد محلی فضا داشته باشد (در نمونه‌ی راهنما 18.28 در برابر 19.53 گیگابایت)، متوقف می‌شود.
  • سطح 4: در بستر PCIe، اگر تستی در راهنماها ثبت نشده باشد، چطور بین موازی‌سازی تنسور و پایپ‌لاین تصمیم می‌گیرید؟ پاسخ مورد انتظار: هر دو را تحت بار کاری واقعی اجرا کرده و نرخ پردازش (Throughput)، صدک 99 فاصله‌ی بین توکن‌ها (P99 ITL) و زمان اولین توکن را در کلاک‌های برابر مقایسه می‌کنیم؛ تنسور روی پیوند کند PCIe بعد از هر لایه هزینه‌ی عمل اشتراکی می‌دهد ولی پایپ‌لاین فقط در مرز هر استیج ارتباط دارد، به همین دلیل چینش پایپ‌لاین می‌تواند روی دو کارت متصل با PCIe برنده شود و مستندات نیز آن را پیشنهاد می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دو نسخه همه‌چیز را دو برابر می‌کند.» هر نسخه کل وزن‌ها را نگه می‌دارد، بنابراین استخر کش هر نسخه همان استخر کوچک قبلی است؛ دو نسخه فقط در صورتی کاربران را دو برابر می‌کند که آن استخر از قبل برای آن‌ها کافی بوده باشد، و یک جفت کارت با استخرهای نابرابر حتی ضعیف‌تر از یک کارت تکی عمل کرد.
  • «موازی‌سازی تنسور تنها راه تجمیع حافظه بین کارت‌هاست.» این روش وزن‌ها و کش را تجمیع می‌کند اما بعد از هر لایه داده می‌فرستد؛ روی بستر PCIe این ترافیک ممکن است هزینه‌ای بیشتر از سود تقسیم مدل بتراشد، بنابراین مستندات برای چنین سیستمی موازی‌سازی پایپ‌لاین را پیشنهاد می‌دهند.
  • «همین که مدل روی دو کارت جا شود، تقسیم مدل آغاز به کار می‌کند.» اگر حافظه‌ی آزاد یک رتبه کمتر از 90 درصد حافظه‌ی آزاد محلی باشد، گروه تنسور اجرا نمی‌شود، چون کوچک‌ترین کارت استخر همه‌ی رتبه‌ها را تعیین می‌کند؛ همیشه کل GPU را به تقسیم مدل اختصاص دهید.
  • «موازی‌سازی پایپ‌لاین یک کارت را هدر می‌دهد چون استیج‌ها منتظر یکدیگر می‌مانند.» این روش داده‌ها را فقط در مرزهای استیج ردوبدل می‌کند و تعداد نامتقارن GPU را هم می‌پذیرد؛ به همین دلیل است که مستندات آن را برای کارت‌های فاقد پیوند پرسرعت پیشنهاد می‌کنند؛ قبل از کنار گذاشتنش، حتماً آن را بسنجید.

کجای دوره آموزش داده می‌شود

بخش‌های انتخاب موازی‌سازی تنسور، پایپ‌لاین یا داده و بخش موازی‌سازی در SGLang انواع چینش‌ها، قواعد پیوند ارتباطی و بررسی تعادل حافظه را شرح می‌دهند.