سؤال مصاحبه

طراحی سرویس گفت‌وگو روی مجموعه‌ای از کارت‌های L4

Design a chat service on a fleet of L4 cards

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

لایه‌ی سرویس‌دهی را برای یک محصول گفت‌وگو (Chat) روی مجموعه‌ای از کارت‌های L4 با مدل Qwen/Qwen3-8B طراحی کنید. هدف ما این است که زمان رسیدن اولین توکن زیر 1 ثانیه و تاخیر بین توکن‌ها برای صدک P99 کاربران، 100 میلی‌ثانیه یا کمتر باشد. همه‌ی درخواست‌ها یک پرامپت سیستمی مشترک 2,048 توکنی دارند و هر نشست چند نوبت گفت‌وگو (Turn) طول می‌کشد. روی هر کارت چند کاربر قرار می‌گیرد، از چه دقتی استفاده می‌کنید، سقف‌ها را چگونه تعیین می‌کنید و پیش از راه‌اندازی چه معیارهایی را اندازه می‌گیرید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ظرفیت را بر اساس استخر حافظه و نقطه‌ی زانو (Knee) تعیین کنید، نه بر اساس نرخ پردازش (Throughput). در دقت BF16، استخر 24,094 توکنی روی یک کارت L4 حدود 37 درخواست 640 توکنی را نگه می‌دارد. با پاک‌سازی کش، فاصله‌ی P99 بین توکن‌ها در 16 کاربر به 522 میلی‌ثانیه رسید؛ بنابراین یک نسخه‌ی BF16 فقط برای اعدادی به‌مراتب کمتر از 16 کاربر به هدف تعیین‌شده می‌رسد. در مقابل، چک‌پوینت FP8 همراه با کش FP8، حجم استخر را به 142,369 توکن می‌رساند و توانست در 64 کاربر، 2.87 درخواست بر ثانیه را با حفظ همین هدف پاسخ دهد؛ در حالی که BF16 در این ترافیک حتی به یک درخواست هم پاسخ نداد. بنابراین پیشنهاد من این است: پس از بررسی دقت روی پرامپت‌های خودمان، سرویس را با FP8 بالا بیاورید، پرامپت سیستمی مشترک را اول بگذارید تا درون کش بماند، استخر را برای نشست‌های ادامه‌دار به‌اندازه‌ی کافی بزرگ نگه دارید، سقف کاربران هر نسخه را در درگاه (Gateway) روی نقطه‌ی زانوی به‌دست‌آمده ببندید، و پیش از راه‌اندازی، آزمون تغییرات پارامتری (Sweep) را با پاک‌سازی کش، ثبت فرکانس کلاک و توزیع طول ترکیبی اجرا کنید.

پاسخ کامل

تعداد کاربران به ازای هر کارت

نقطه‌ی زانو روی کارت L4 در دقت BF16، پس از بازنشانی کش پیشوند قبل از هر اجرا، بین 8 تا 16 کاربر قرار می‌گیرد. با بازنشانی کش، در 8 کاربر، 50 درصد درخواست‌ها به هدف رسیدند (در مقایسه با 75 تا 81 درصد بدون بازنشانی)؛ و در 16 کاربر، این سهم از حدود 65 درصد به 25 درصد افت کرد و تاخیر بین توکن‌ها (ITL) برای صدک P99 به 522 میلی‌ثانیه رسید (در برابر 82 تا 84 میلی‌ثانیه در حالت بدون پاک‌سازی). با بازنشانی کش، میانه‌ی زمان تا اولین توکن در 4 کاربر حدود 650 میلی‌ثانیه، در 8 کاربر بین 951 تا 978 میلی‌ثانیه، و در 16 کاربر بین 1,550 تا 1,587 میلی‌ثانیه بود. تحت نرخ ورود ثابت، هر دو دقت تا سقف 1 درخواست بر ثانیه به هدف تعیین‌شده رسیدند؛ در نرخ ورودی 2 درخواست، BF16 توانست 0.88 درخواست بر ثانیه را در محدوده‌ی هدف نگه دارد و از نرخ 4 به بعد به صفر رسید؛ اما FP8 در نرخ ورودی 4 توانست 3.18 درخواست بر ثانیه را ثبت کند. بنابراین، یک نسخه‌ی BF16 تنها پاسخگوی تعداد اندکی کاربر گفت‌وگو است و نسخه‌ی FP8 چند برابر آن را پشتیبانی می‌کند؛ آزمون تغییرات پارامتری عدد دقیق را مشخص خواهد کرد.

دقت

روی همان کارت L4، چک‌پوینت FP8 همراه با کش FP8 شکل کل منحنی کارایی را تغییر داد:

هم‌زمانی توکن خروجی بر ثانیه در BF16 توکن خروجی بر ثانیه در FP8 میانه‌ی TTFT در BF16 میانه‌ی TTFT در FP8
1 13.42 24.53 189.16 ms 140.72 ms
16 201.09 313.92 211.78 ms 147.52 ms
32 270.11 507.20 2,969.61 ms 199.09 ms
64 250.85 735.91 18,348.57 ms 296.42 ms

تفاوت در اندازه‌ی استخر نهفته است: 24,094 توکن در برابر 142,369 توکن. در 64 کاربر، سرور BF16 با مصرف توکن 0.99 حداکثر 38 درخواست را پردازش می‌کرد و 26 درخواست در صف مانده بودند؛ اما سرور FP8 با مصرف 0.29 هر 64 درخواست را بدون هیچ صفی پاسخ داد. نرخ پردازش موثر (Goodput) درون محدوده برای BF16 در 32 و 64 کاربر صفر بود و برای FP8 در 64 کاربر به 2.87 درخواست بر ثانیه رسید. بررسی دقت روی 500 سوال GSM8K برای تمام پیکربندی‌های FP8 بازه‌های هم‌پوشان با BF16 داد؛ ضریب مقیاس KV هم روی 1.0 قرار گرفت چون این مدل فاقد مقیاس‌ها است. همین بررسی را روی پرامپت‌های خودتان اجرا کنید و هشدار مقیاس را در لاگ راه‌اندازی بخوانید.

پرامپت مشترک و نشست‌های ادامه‌دار

پرامپت سیستمی مشترک را در ابتدای درخواست قرار دهید و ساختار بایتی آن را کاملاً یکسان نگه دارید؛ به این ترتیب که فهرست ابزارها ترتیبی ثابت داشته باشد و پیش از نوبت کاربر هیچ بخش متغیری نیاید. در ادامه، استخر باید گنجایش نگهداری مجموعه‌ی کاری (Working set) را داشته باشد. روی کارت L4 با یک پرامپت 2,048 توکنی برای هر گروه از کاربران، استخر 24,094 توکنی BF16 توانست حدود 11 پرامپت را در خود جای دهد: در 4 گروه، میانه‌ی زمان تا اولین توکن 360 میلی‌ثانیه بود؛ در 16 گروه، سرورِ متکی بر پردازنده‌ی گرافیکی پرامپت‌هایی را که دوباره لازم داشت بیرون ریخت و زمان اولین توکن به 3,259 میلی‌ثانیه رسید؛ و در 32 گروه، این عدد به 5,449 میلی‌ثانیه افزایش یافت. افزودن یک لایه‌ی حافظه‌ی میزبان (Host tier) پرامپت‌های خارج‌شده را نگه داشت و زمان را در 16 گروه به 553 میلی‌ثانیه و در 32 گروه به 817 میلی‌ثانیه رساند؛ اما در 64 گروه، کل پرامپت‌ها از مجموع حافظه‌ی گرافیکی و میزبان بیشتر شدند و لایه‌ی میزبان توانست تاخیر را فقط از 6,821 به 3,610 میلی‌ثانیه کاهش دهد. در FP8 استخر پرامپت‌های بسیار بیشتری نگه می‌دارد، بنابراین راهکار اول برای مجموعه‌ی کاری بزرگ‌تر کردن استخر است و لایه‌ی حافظه‌ی میزبان در اولویت بعدی قرار می‌گیرد.

نشست‌های چندنوبتی همین مسئله را در طول زمان ایجاد می‌کنند. در یک استخر 8,192 توکنی، ردگیری محاسبات (Trace) مربوط به 24 نشست باعث دست‌وپا زدن (Thrashing) در الگوریتم تخلیه‌ی پیش‌فرض شد: نرخ اصابت (Hit Rate) در نوبت‌های 5 و 6 به حدود 1.5 درصد سقوط کرد و تغییر سیاست تخلیه هم آن را فقط به 25 تا 34 درصد رساند. در مقابل، یک استخر 16,384 توکنی در تمام طول ردگیری و با هر سیاستی به 0.69 رسید. بنابراین پیش از تغییر سیاست تخلیه، استخر را بزرگ‌تر کنید و هر نشست را به همان نسخه‌ی قبلی بفرستید تا پیشوند ذخیره‌شده‌اش در همان نقطه در دسترس باشد.

تعیین سقف‌ها

سقف نقطه‌ی زانو را در درگاه اعمال کنید، نه فقط داخل موتور استنتاج. موتور تا جایی که حافظه اجازه دهد درخواست قبول می‌کند و سقف گذاشتن روی موتور فقط تعیین می‌کند چه کسی در صف بماند: در ترافیک 32 کاربر روی L4، قرار دادن سقف 16 باعث شد میانه‌ی اولین توکن از 1.8 به 12.3 ثانیه جهش کند و خروجی 38 درصد افت کند. حد درگاه را یک یا دو گام پایین‌تر از نقطه‌ی زانوی اندازه‌گیری‌شده تنظیم کنید و ترافیک بیشتر از آن را در صف بگذارید یا پس بزنید (Shed). گذاشتن یک محافظ دوم روی موتور با همان عدد ضرری ندارد.

پیش از راه‌اندازی

  1. آزمون تغییرات پارامتری هم‌زمانی را پیش از هر اجرا با پاک‌سازی کامل کش و دانه‌ی تصادفی (Seed) جدید انجام دهید و توکن‌های کش‌شده را ثبت کنید. آزمون بدون پاک‌سازی، نقطه‌ی زانو را بین 16 تا 32 کاربر نشان داد؛ اما آزمون همراه با پاک‌سازی آن را بین 8 تا 16 کاربر مشخص کرد.
  2. فرکانس کلاک SM و دمای کارت را در هر اجرا ثبت کنید، کارت را بین اجراها خنک کنید و اجراهایی را که زیر کف فرکانسی مشخصی افتاده‌اند کنار بگذارید. تحت بار اضافی حلقه‌باز (Open-loop)، فرکانس L4 از 1,320 به 465 مگاهرتز سقوط کرد و 70 درصد نمونه‌ها در افت حرارتی بودند؛ بنابراین فشار بیش از حد نه تنها تاخیر را بالا می‌برد، بلکه به نرخ پردازش هم آسیب می‌زند.
  3. آزمون را با ترکیب واقعی طول درخواست‌های خود اجرا کنید. طول‌های ثابت الگوهای موجی درست می‌کنند و در 16 کاربر میانه‌ی زمان تا اولین توکن را 1,996 میلی‌ثانیه با P99 ITL معادل 82 میلی‌ثانیه نشان دادند؛ در حالی که طول‌های ترکیبی نتایج 291 و 300 میلی‌ثانیه را دادند. این دو الگو در عمل دو سرور کاملاً متفاوت را ارزیابی می‌کنند.
  4. علاوه بر آزمون حلقه‌بسته، ترافیک را با نرخ ورود ثابت هم اجرا کنید؛ چرا که کاربران واقعی منتظر تمام شدن پاسخ یکدیگر نمی‌مانند.
  5. حد مجاز را بر اساس نرخ پردازش موثر در محدوده‌ی هدف انتخاب کنید و در کنار زمان تا اولین توکن، مقدار P99 ITL را هم بررسی کنید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تعداد کاربران را بر اساس اوج نرخ پردازش در آزمون تعیین نکنیم؟ پاسخ مورد انتظار: نرخ پردازش در 32 کاربر به اوج رسید در حالی که در آن نقطه هیچ درخواستی به هدف نرسید، و نقطه‌ی زانو همراه با بازنشانی کش بین 8 تا 16 کاربر بود؛ نرخ پردازش موثر در محدوده‌ی هدف حد مجاز را تعیین می‌کند و نرخ پردازش خام تنها جنبه‌ی توضیحی دارد.
  • سطح 4: محصول نشست‌های طولانی دریافت می‌کند که بعد از چند دقیقه برمی‌گردند. چه تغییری پیش می‌آید؟ پاسخ مورد انتظار: مجموعه‌ی کاری از ظرفیت استخر حافظه‌ی گرافیکی بزرگ‌تر می‌شود، الگوریتم تخلیه‌ی پیش‌فرض درست قبل از بازگشت هر نشست داده‌های آن را بیرون می‌ریزد و نرخ اصابت کش نابود می‌شود (حدود 1.5 درصد در نوبت‌های بالاتر با استخر 8,192 توکنی)؛ اول باید استخر را بزرگ کنید، هر نشست را به همان نسخه‌ی مشخص بفرستید، و لایه‌ی میزبان را تنها زمانی اضافه کنید که مجموعه‌ی کاری بزرگ‌تر از استخر حافظه‌ی گرافیکی اما کوچک‌تر از مجموع حافظه‌ی گرافیکی و میزبان باشد.
  • سطح 4: ترافیک برای مدت یک ساعت دو برابر می‌شود. چه چیزی از کاربران محافظت می‌کند؟ پاسخ مورد انتظار: سقفی روی درگاه که ترافیک فراتر از نقطه‌ی زانو را پس بزند یا به صف بفرستد؛ زیرا موتور تا زمان اتمام حافظه درخواست می‌پذیرد و تعیین سقف روی خود موتور فقط زمان انتظار تا اولین توکن را بیشتر می‌کند. به‌علاوه، کارت L4 که با خنک‌کننده‌ی غیرفعال کار می‌کند، تحت بار بیش از حد دچار افت فرکانس کلاک می‌شود (از 1,320 به 465 مگاهرتز) و در نتیجه بار اضافی هم به تاخیر آسیب می‌زند و هم نرخ پردازش را تخریب می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به ازای هر کارت 32 کاربر اختصاص دهید؛ آزمون نشان داد در این نقطه 275 توکن بر ثانیه خروجی داریم.» در 32 کاربر هیچ درخواستی به هدف نرسید و P99 ITL به 613 میلی‌ثانیه رسید؛ نقطه‌ی زانو با بازنشانی کش بین 8 تا 16 کاربر قرار داشت.
  • «روی BF16 بمانید؛ FP8 ریسک کیفیتی دارد که نباید پذیرفت.» در بررسی 500 سوال GSM8K، تمامی بازه‌های دقت FP8 با BF16 هم‌پوشانی داشتند؛ ضمن این‌که در 64 کاربر، FP8 تفاوتی بین صفر و 2.87 درخواست بر ثانیه درون هدف رقم زد. روی پرامپت‌های خودتان بررسی را انجام دهید و بر اساس شواهد تصمیم بگیرید.
  • «سقف موتور را روی نقطه‌ی زانو بگذارید و کار تمام است.» سقف موتور صرفاً تعیین می‌کند چه کسی منتظر بماند و در 32 کاربر زمان تا اولین توکن را به 12.3 ثانیه رساند؛ نقطه‌ی زانو را باید در درگاه پیاده کنید و بار اضافه را همان‌جا پس بزنید.
  • «بنچمارک را با پرامپت‌های ثابت 512 توکنی اجرا کنید، استاندارد همین است.» طول‌های ثابت الگوهای موجی ایجاد می‌کنند و در 16 کاربر زمان تا اولین توکن را 1,996 میلی‌ثانیه با P99 ITL معادل 82 میلی‌ثانیه دادند؛ در حالی که طول‌های ترکیبی اعداد 291 و 300 میلی‌ثانیه را ثبت کردند. پیش از تعیین سقف، ترکیب واقعی طول درخواست‌های خود را ارزیابی کنید.

کجای دوره آموزش داده می‌شود

بخش تنظیم گفت‌وگو برای تعداد بالای کاربران نحوه‌ی پیدا کردن نقطه‌ی زانو را آموزش می‌دهد، بخش کوانتیزه‌سازی در SGLang عملکرد FP8 را روی همین کارت اندازه می‌گیرد، بخش بنچمارک در SGLang روش نرخ پردازش موثر را ارائه می‌دهد، و سیاست‌های تخلیه و HiCache ابعاد مجموعه‌ی کاری را مشخص می‌سازد.