سؤال مصاحبه

دو نسخه‌ی موازی‌سازی داده، خروجی کمتر از یک کارت

Two data-parallel copies, less output than one card

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یک پردازنده‌ی گرافیکی دوم از نوع L4 را با آرگومان --dp-size 2 به سرور SGLang اضافه می‌کنید و انتظار دارید نرخ پردازش (throughput) تقریباً دو برابر شود. اما بنچمارک مقایسه‌ای نتیجه‌ای کمتر از یک کارت را نشان می‌دهد: در ترافیک 64 کاربر، این زوج کارت در اوج خود به 64 توکن در ثانیه می‌رسد و سپس تا 42 توکن افت می‌کند؛ تاخیر صدک 99 (P99) برای اولین توکن هم به‌جای 33.4 ثانیه روی یک کارت، به 391 ثانیه می‌رسد. هر دو نسخه وزن‌ها را بدون هیچ خطایی بارگذاری کرده‌اند. چه چیزی را باید بررسی کنید و کجای کار ایراد دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

قبل از اینکه به مجموع ظرفیت اعتماد کنید، خط KV Cache is allocated را در لاگِ تک‌تک رتبه‌های موازی‌سازی داده (Data Parallelism یا DP) بخوانید. روی این زوج کارت، روی کارت دوم دو پاد متعلق به تیمی دیگر اجرا می‌شد؛ در نتیجه نسخه‌ی دوم بعد از بارگذاری وزن‌ها به‌جای 6.59 گیگابایت، فقط 3.17 گیگابایت حافظه‌ی آزاد داشت و اندازه‌ی استخر حافظه‌ی آن به‌جای 24,094 توکن، 2,925 توکن (یک‌هشتم کارت اول) بود. کنترل‌کننده‌ی نوبت‌گردشی (round-robin) کاری به اندازه‌ی استخرها ندارد؛ بنابراین یکی‌درمیان درخواست‌ها را به نسخه‌ی کوچک‌تر فرستاد. در آن نسخه 4 درخواست اجرا می‌شد و 59 درخواست در صف معطل مانده بودند، درحالی‌که نسخه‌ی بزرگ‌تر فقط یک تا سه درخواست فعال داشت و تنها از 2 تا 7 درصد استخر خود استفاده می‌کرد.

پاسخ کامل

دو استخر نامتوازن

خطوط راه‌اندازی این دو رتبه، داستان را پیش از رسیدن اولین درخواست آشکار می‌کنند:

  • رتبه‌ی DP0 وزن‌ها را در 3.61 ثانیه بارگذاری کرد و 6.59 گیگابایت حافظه‌ی آزاد برایش باقی ماند؛ اندازه‌ی استخر آن 24,094 توکن بود.
  • رتبه‌ی DP1 همان 15.28 گیگابایت وزن را در 3.73 ثانیه بارگذاری کرد اما فقط 3.17 گیگابایت حافظه برایش ماند، چرا که دو پاد دیگر هرکدام 1,746 مبی‌بایت از حافظه را اشغال کرده بودند؛ اندازه‌ی استخر آن 2,925 توکن بود. فقط چهار درخواست 640 توکنی این استخر را پر می‌کنند.

خطوط لاگ مربوط به رمزگشایی (decode) در بار کاری 64 درخواست فعال، نتیجه را به‌خوبی نشان می‌دهند. DP1 با ضریب مصرف توکن بین 0.82 تا 0.87 فقط 4 درخواست را اجرا می‌کرد و 59 درخواست هم در صف انتظارش مانده بودند. در سوی دیگر، DP0 با ضریب مصرف 0.02 تا 0.07 تنها یک تا سه درخواست را پردازش می‌کرد و صف آن کاملاً خالی بود.

چرا کلاینت نتوانست کمکی بکند؟

این بنچمارک در هر لحظه 64 درخواست باز را نگه می‌دارد. روش نوبت‌گردشی بدون نگاه کردن به اندازه‌ی استخرها یا صف‌ها، درخواست‌ها را یکی‌درمیان بین نسخه‌ها تقسیم می‌کند. در بار کاری 64 کاربر، 63 درخواست روی نسخه‌ی کوچک‌تر انباشته شدند: 4 درخواست در حال اجرا و 59 درخواست در صف انتظار. کلاینت هم تا زمانی که نسخه‌ی کوچک‌تر یک جایگاه (slot) آزاد نمی‌کرد، نمی‌توانست کار جدیدی به نسخه‌ی بزرگ‌تر بفرستد.

هزینه‌ی این ناهمگونی چقدر بود؟

یک کارت L4 به‌تنهایی به نرخ 270 توکن در ثانیه می‌رسید. این زوج کارت در اوج خود به 64 رسید و همگام با افت فرکانس پردازنده، تا 42 توکن در ثانیه پایین آمد: فرکانس کاری در 32 و 64 کاربر به‌ترتیب 765 و 675 مگاهرتز بود که از کف فرکانس مشخص‌شده در راهنما هم کمتر است؛ درحالی‌که تک‌کارت روی 1,320 و 1,080 مگاهرتز کار می‌کرد؛ بنابراین بخشی از افت کارایی ناشی از فرکانس پردازنده است. در 64 کاربر، میانه‌ی P99 اولین توکن در سه سید آزمایشی روی یک کارت 33.4 ثانیه و روی این زوج کارت 391 ثانیه بود. تا 4 کاربر نیز این زوج کارت به‌دلیلی که راهنما ریشه‌ی دقیق آن را مشخص نکرده، بین 16 تا 41 درصد کندتر عمل می‌کرد؛ در یک کاربر هم پردازش هر توکن 79.6 میلی‌ثانیه طول می‌کشید، در مقایسه با 60.2 میلی‌ثانیه در فرکانس بالاتر. با نرخ ورود ثابت درخواست‌ها، این زوج کارت در بهترین حالت 0.21 درخواست در ثانیه را در محدوده‌ی مجاز تاخیر کامل می‌کرد، درحالی‌که کارت تک به 0.96 درخواست در ثانیه می‌رسید.

مسیریابی بر اساس توکن‌ها

گزینه‌ی --load-balance-method total_tokens هر درخواست را به نسخه‌ای می‌فرستد که کمترین تعداد توکن را دارد. روی همین زوج کارت ناهمگون، این روش در 64 کاربر به نرخ 114.7 توکن در ثانیه رسید؛ در مقایسه با 41.7 در حالت نوبت‌گردشی و 250.9 روی یک کارت L4. در 8 کاربر، این نرخ 92.1 بود در مقایسه با 64.2 و 112.6. میانه‌ی زمان پاسخ‌دهی به اولین توکن در 64 کاربر از 4,763 به 3,977 میلی‌ثانیه کاهش یافت. البته میانه‌ی فرکانس کارت در این اجرا 1,020 مگاهرتز بود در مقایسه با 675 مگاهرتز در حالت نوبت‌گردشی؛ بنابراین بخشی از این بهبود حاصل عملکرد بهتر سخت‌افزار است. این تغییر جهش بزرگی نسبت به نوبت‌گردشی به حساب می‌آید، اما همچنان ضعیف‌تر از یک تک‌کارت است.

موازی‌سازی تنسور از همان ابتدا متوقف می‌شد

تنظیم --tp-size 2 روی همین زوج کارت، دو ثانیه بعد از راه‌اندازی کتابخانه‌ی عمل اشتراکی (collective) متوقف می‌شد. قبل از بارگذاری وزن‌ها، هر رتبه حافظه‌ی آزاد خود را اندازه می‌گیرد و کل گروه کمترین مقدار را مبنا قرار می‌دهد. اگر این مقدار کمتر از 90 درصد حافظه‌ی آزاد محلی باشد، سرور کار را متوقف می‌کند. کارت اشتراکی 18.28 گیگابایت حافظه‌ی آزاد داشت، درحالی‌که این بررسی به 19.53 گیگابایت نیاز داشت. هر رتبه در یک گروه تنسور سهم یکسانی از وزن‌ها و استخر برابری را نگه می‌دارد؛ بنابراین کوچک‌ترین کارت اندازه‌ی همه را تعیین می‌کند. در --dp-size 2 چنین کنترلی وجود ندارد، چون هر نسخه استخرش را مستقل اندازه می‌زند؛ بنابراین کار شروع شد و با شکست مواجه شد.

قاعده

افزایش ظرفیت با نسخه‌های موازی را تنها زمانی انجام دهید که هر نسخه استخری تقریباً هم‌اندازه داشته باشد. روی یک ماشین اشتراکی، پردازنده‌های گرافیکی را به‌طور کامل و دربست به یک گروه اختصاص دهید. قبل از اینکه روی مجموع ظرفیت حساب باز کنید، خط #tokens را در لاگِ هر رتبه‌ی DP بررسی کنید. راهکار دیگر، یعنی راه‌اندازی دو سرور جداگانه پشت یک درگاه (gateway) وزن‌دار، در این راهنما آزمایش نشده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نسخه‌ی بزرگ‌تر تقریباً بیکار بود درحالی‌که 59 درخواست در انتظار مانده بودند؟ پاسخ مورد انتظار: بنچمارک یک چرخه‌ی بسته (closed loop) با 64 درخواست باز است؛ نوبت‌گردشی نیمی از آن‌ها را روی نسخه‌ی کوچک فرستاد و کلاینت تا زمانی که نسخه‌ی کوچک یک جایگاه آزاد نمی‌کرد، نمی‌توانست کار جدیدی به نسخه‌ی بزرگ بفرستد.
  • سطح 3: چرا تقسیم تنسور روی این زوج کارت متوقف شد اما زوج موازی‌سازی داده شروع به کار کرد؟ پاسخ مورد انتظار: موازی‌سازی تنسور بررسی می‌کند که هر رتبه حداقل 90 درصد از حافظه‌ی آزاد محلی را داشته باشد، چون هر رتبه سهم و استخر یکسانی نگه می‌دارد و کارت اشتراکی 18.28 گیگابایت از 19.53 گیگابایت مورد نیاز را داشت؛ اما موازی‌سازی داده استخر هر نسخه را مستقل اندازه می‌زند و چنین کنترلی ندارد.
  • سطح 4: مسیریابی بر اساس مجموع توکن‌ها نرخ پردازش زوج کارت را در 64 کاربر به 114.7 رساند. آیا مشکل حل شده است؟ پاسخ مورد انتظار: خیر؛ یک تک‌کارت به‌تنهایی 250.9 توکن خروجی داد، همچنین فرکانس پردازنده در اجرای مسیریابی بر اساس توکن بالاتر از نوبت‌گردشی بود و بخشی از بهبود به وضعیت کارت برمی‌گردد؛ راه‌حل واقعی هم‌اندازه بودن استخرهاست، چه با اختصاص کامل پردازنده‌ها به هر نسخه و چه با سرورهای مجزا پشت یک درگاه وزن‌دار.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هر دو نسخه وزن‌ها را بارگذاری کردند، پس کارت دوم مشکلی ندارد.» وزن‌ها روی هر کارت 15.28 گیگابایت حافظه می‌خواهند؛ اندازه‌ی استخر از حافظه‌ی باقیمانده حساب می‌شود و کارت اشتراکی فقط 3.17 گیگابایت در برابر 6.59 گیگابایت جا داشت، یعنی یک‌هشتم استخر کارت اول.
  • «کنترل‌کننده بار را متعادل می‌کند، بنابراین کارت کندتر درخواست کمتری می‌گیرد.» حالت پیش‌فرضِ نوبت‌گردشی کاری به استخرها یا صف‌ها ندارد؛ درخواست‌ها را یکی‌درمیان فرستاد و در نتیجه 63 درخواست از 64 درخواست باز روی نسخه‌ی کوچک‌تر ماندند.
  • «این زوج کارت به‌خاطر فرکانس پایین‌تر کند است، پس وقتی کارت خنک شد دوباره تست کنید.» این زوج کارت در 32 و 64 کاربر زیر کف فرکانس کار می‌کرد، اما تا 4 کاربر هم بین 16 تا 41 درصد کندتر بود و لاگ نشان می‌دهد 59 درخواست روی یک نسخه معطل بودند؛ استخر حافظه فرم رفتار سیستم را توضیح می‌دهد و فرکانس تنها بخشی از افت خروجی را توجیه می‌کند.

کجای دوره آموزش داده می‌شود

بخش موازی‌سازی در SGLang لاگ مربوط به دو استخر، بنچمارک مقایسه‌ای و راهکار مسیریابی را در بر دارد.