سؤال مصاحبه

انتخاب سقف همروندی وقتی نرخ پردازش مدام بالا می‌رود

Pick a concurrency cap when throughput keeps rising

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

شما یک مدل چت را روی یک GPU سرو می‌کنید. تست بار نشان می‌دهد که در سقف 64 درخواست هم‌زمان، نرخ پردازش (throughput) خروجی همچنان در حال افزایش است؛ به همین دلیل تیم می‌خواهد سقف را روی 64 بگذارد. نیاز محصول این است که اولین توکن زیر 1 ثانیه برسد و بعد از آن متن به شکل پیوسته استریم شود. شما چه سقفی را انتخاب می‌کنید و چطور از تصمیم‌تان دفاع می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سقف را بر اساس نرخ پردازش موثر (goodput) تعیین کنید، نه نرخ پردازش خام. نرخ پردازش موثر فقط درخواست‌هایی را می‌شمارد که به تمام اهداف تاخیر (latency) رسیده‌اند؛ بنابراین مدت‌ها قبل از اینکه رشد نرخ پردازش متوقف شود، این معیار به صفر می‌رسد. در تستی که در مستندات SGLang آمده، بالاترین نرخ پردازش موثر برای BF16 روی سقف 4 بود و از سقف 8 به بعد به 0 رسید. از نمودار نرخ پردازش فقط برای توجیه این انتخاب استفاده کنید.

پاسخ کامل

چرا نرخ پردازش نقطه شکست را پنهان می‌کند؟

یک استخر بزرگ برای کَش کلید-مقدار (KV pool) به سرور اجازه می‌دهد درخواست‌های بیشتری را بپذیرد. روی پردازنده‌ی GB10 در مستندات، این استخر گنجایش 234,600 توکن را داشت؛ به همین دلیل نرخ پردازش BF16 حتی در سقف 64 هم همچنان بالا می‌رفت. با افزایش درخواست‌های پذیرفته‌شده، همه‌ی آن‌ها در هر مرحله‌ی رمزگشایی (decode) سهیم می‌شوند و در نتیجه به هر درخواست، توکن کمتری در ثانیه می‌رسد. نرخ پردازش، سرور را می‌سنجد؛ تاخیر، تجربه‌ی کاربر را.

اول هدف را مشخص کنید

در این مستندات، درخواستی «موفق» به حساب می‌آید که اولین توکنش زیر 1 ثانیه برسد و میانگین زمان به ازای هر توکن (TPOT) آن زیر 100 میلی‌ثانیه باشد. این هدف را پیش از اجرای تست مکتوب کنید. عدد نرخ پردازش موثر بدون تعریف هدف، هیچ معنایی ندارد.

تحلیل نتایج تست

سقف همروندی نرخ پردازش موثر BF16 میانه TPOT در BF16 نرخ پردازش موثر FP8 میانه TPOT در FP8
4 0.44 req/s 71.01 ms 0.80 req/s 38.60 ms
8 0 102.21 ms 1.07 req/s 54.96 ms
16 0 154.24 ms 1.10 req/s 81.90 ms
32 0 201.91 ms 0 104.12 ms

در سقف 8، میانه‌ی درخواست‌های BF16 بیش از 100 میلی‌ثانیه برای هر توکن زمان می‌برد. در همین سقف، نرخ پردازش 74.11 توکن بر ثانیه است و همچنان بالا می‌رود. فرمت FP8 توانسته این هدف را تا سقف 16 حفظ کند. پس پاسخ به نسخه‌ی ساخت (build) مدل بستگی دارد: روی این دستگاه، حدود 4 برای BF16 و حدود 16 برای FP8.

دفاع از تصمیم

  • به ازای هر نقطه، تست را با سه مقدار اولیه (seed) اجرا کنید و بازه‌ی تغییرات را نشان دهید تا بازبین متوجه واقعی بودن این فاصله‌ها بشود.
  • قبل از هر اجرا، کش پیشوند (prefix cache) را پاک کنید. کش گرم باعث می‌شود زمان رسیدن به اولین توکن به اشتباه سریع به نظر برسد.
  • سقف همروندی یک سیستم حلقه بسته (closed-loop) است. کاربران واقعی با زمان‌بندی خودشان وارد می‌شوند؛ بنابراین باید یک تست حلقه‌باز (open-loop) هم با نرخ مشخصی از ارسال درخواست اجرا کنید و نرخ پردازش موثر را در آنجا نیز بسنجید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: تفاوت نرخ پردازش و نرخ پردازش موثر چیست؟ انتظار می‌رود: نرخ پردازش تمام توکن‌ها یا درخواست‌ها را در ثانیه می‌شمارد؛ نرخ پردازش موثر فقط درخواست‌هایی را حساب می‌کند که به تمام اهداف تاخیر رسیده‌اند.
  • سطح 3: چرا در یک سقف همروندی حلقه‌بسته، هیچ‌وقت صف درخواست‌ها طولانی و انباشته نمی‌شود؟ انتظار می‌رود: هر کلاینت تا پاسخش را نگیرد درخواست بعدی را نمی‌فرستد؛ پس سرور هیچ‌وقت کاری بیشتر از توان تکمیلش دریافت نمی‌کند.
  • سطح 3: فرمت FP8 هدف تاخیر را تا سقف 16 حفظ می‌کند ولی BF16 نه. قبل از اینکه نسخه را تغییر دهید چه مواردی را بررسی می‌کنید؟ انتظار می‌رود: کیفیت خروجی بر اساس ارزیابی‌های خودتان، و اندازه‌ی استخر KV؛ زیرا FP8 حافظه را آزاد می‌کند و امکان داشتن استخر بزرگ‌تری را فراهم می‌سازد.
  • سطح 4: زیر بار سنگین، GPU داغ می‌شود. این موضوع چه تاثیری روی تست بار شما دارد؟ انتظار می‌رود: کلاک GPU و وضعیت حرارتی را در هر اجرا ثبت کنید و بگذارید GPU قبل از شروع هر دور، تا دمای مشخص و ثابتی خنک شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سقف را روی نقطه‌ای بگذارید که نرخ پردازش به اوج می‌رسد.» در این تست، نمودار نرخ پردازش اصلاً نقطه‌ی اوجی نداشت و از سقف همروندی 8 به بعد، همه‌ی درخواست‌های BF16 از رسیدن به هدف تاخیر بازماندند.
  • «فقط به میانه‌ی TTFT اتکا کنید.» میانه می‌تواند نیمه‌ی کند درخواست‌ها را پنهان کند؛ ضمن اینکه ممکن است اولین توکن سریع بیاید اما زمان تولید هر توکن از حد مجاز بگذرد.
  • «گزارش نرخ پردازش موثر بر اساس یک بار اجرا.» یک بار اجرا ممکن است به دلایلی که متوجهش نمی‌شوید خطا داشته باشد؛ همیشه از سه مقدار اولیه (seed) استفاده کرده و بازه‌ی نتایج را گزارش کنید.

کجای دوره آموزش داده می‌شود

بخش بنچ‌مارک در SGLang 101 نرخ پردازش موثر را بر اساس سقف همروندی اندازه می‌گیرد و درس معیارهای استنتاج تک‌تک این معیارها را تعریف می‌کند.