سؤال مصاحبه

سهمیه‌ی توکن بزرگ‌تر در بار کاری پایین

A larger token budget at low load

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

یکی از هم‌تیمی‌ها پیشنهاد می‌کند فلگ --max-num-batched-tokens 16384 تنظیم شود تا پرامپت‌های طولانی زودتر به اولین توکن خود برسند. سرور مدلی با لایه‌های ترکیبی از متخصصان (mixture-of-experts) را روی یک کارت گرافیک اجرا می‌کند. درخواست‌ها با نرخ حدود نیم درخواست در ثانیه وارد می‌شوند و طول پرامپت‌ها بین 1,024 تا 4,096 توکن است. انتظار دارید چه تغییری رخ دهد، و پیش از پذیرش این تغییر چه معیارهایی را اندازه می‌گیرید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سهمیه‌ی بزرگ‌تر به پرامپت طولانی امکان می‌دهد پیش‌پرکنی (prefill) خود را در گام‌های کمتری تمام کند، اما هر کدام از این گام‌ها بیشتر طول می‌کشد و تمام جریان‌های در حال تولید باید منتظر آن بمانند. در بار کاری پایین، انتظار اولین توکن سریع‌تر و صدک 99 تاخیر بین‌توکنی (P99 ITL) بدتر را دارم؛ هر دو را با چند سید (seed) مختلف در نرخ واقعی درخواست‌ها اندازه می‌گیرم. روی کارت GB10 ما در نرخ 0.5 درخواست در ثانیه، مقدار 16,384 باعث شد P99 ITL از 574 به 798 میلی‌ثانیه برسد، در حالی که بهبود زمان اولین توکن از محدوده‌ی پراکندگی سیدها فراتر نرفت.

پاسخ کامل

آنچه در راهنما اندازه‌گیری شد

سهمیه‌های 2,048 و 16,384 توکن روی GB10 با مدل Qwen3-30B-A3B، درخواست‌ها با نرخ ثابت، سه سید برای هر نقطه، و هر درخواست خواهان 64 تا 256 توکن:

Requests per second Budget Median TTFT Median TPOT P99 ITL
0.5 2,048 1,145 ms 149.3 ms 574 ms
0.5 16,384 906 ms 139.4 ms 798 ms
1 2,048 454 ms 156.5 ms 405 ms
1 16,384 477 ms 156.9 ms 395 ms
2 2,048 560 ms 205.5 ms 587 ms
2 16,384 595 ms 205.1 ms 586 ms

در نرخ 0.5 درخواست در ثانیه، سهمیه‌ی بزرگ‌تر مقدار P99 ITL را 39 درصد افزایش داد و بازه‌ی تغییرات سیدها هیچ همپوشانی (overlap) نداشتند. اولین توکن زودتر آمد، اما بازه‌ی تغییرات سیدها برای زمان اولین توکن همپوشانی داشت. بنابراین هزینه‌ی این تغییر قطعی است، ولی دستاورد آن تایید نشده است. در نرخ‌های 1 و 2 درخواست در ثانیه، هر دو سهمیه اعدادی یکسان در محدوده‌ی پراکندگی سیدها ثبت کردند. در تمام اجراها کلاک میانه بین 2,398 تا 2,411 مگاهرتز حفظ شد، پس کلاک پردازنده تفاوت هیچ‌یک از ردیف‌ها را توجیه نمی‌کند.

چرا با افزایش نرخ، این اثر کم‌رنگ می‌شود

در نرخ‌های بالاتر، درخواست‌های بیشتری در هر گام شریک می‌شوند. در این حالت، یک پرامپت طولانی سهم کوچک‌تری از سهمیه را پر می‌کند و نحوه‌ی قطعه‌بندی متن (chunking) اهمیت کمتری پیدا می‌کند. این نتیجه دامنه محدودی دارد: دو سهمیه، سه نرخ پایین، یک مدل و یک دستگاه. مقاله‌ی P-PAS نشان داد هیچ سهمیه‌ی ثابت و واحدی برای همه‌ی بارهای کاری بهترین نیست: سهمیه‌ی بزرگ در فشار پیش‌پرکنی پایین برنده شد و سهمیه‌ی کوچک زمانی که چند پیش‌پرکنی با جریان‌های در حال اجرا رقابت می‌کردند.

یک نتیجه‌ی بی‌پاسخ

میانه‌ی زمان اولین توکن در نرخ 0.5 درخواست در ثانیه، برای هر دو سهمیه کندتر از نرخ 1 درخواست در ثانیه بود. هر سه سید در نرخ 0.5 با سهمیه‌ی 2,048 بالای 900 میلی‌ثانیه بودند و هر سه در نرخ 1 زیر 600 میلی‌ثانیه ثبت شدند. وجود یک سید کند تصادفی این تفاوت را توجیه نمی‌کند. راهنما علت این موضوع را پیدا نکرده و صراحتاً به آن اشاره می‌کند.

نحوه‌ی تصمیم‌گیری

  1. سهمیه‌ای را که سرور استفاده می‌کند بررسی کنید. اجرای بدون فلگ روی این دستگاه معادل 2,048 بود.
  2. اگر P99 ITL خیلی بالاست و پرامپت‌های طولانی وارد می‌شوند، سهمیه را کاهش دهید.
  3. اگر زمان رسیدن به اولین توکن در پرامپت‌های طولانی خیلی کند است و P99 ITL جای افزایش دارد، سهمیه را بالا ببرید.
  4. در نرخ واقعی درخواست‌های خود اندازه بگیرید، و با تغییر بار کاری دوباره سنجش را تکرار کنید.

فلگ --long-prefill-token-threshold سقف توکن‌هایی را تعیین می‌کند که یک پرامپت طولانی می‌تواند در یک گام و هنگام معطل بودن بقیه درخواست‌ها بگیرد. این گزینه به‌طور پیش‌فرض خاموش است و راهنما آن را آزمایش نکرده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: در دو نرخ بالاتر، نتایج سهمیه‌ها مساوی شد. چرا با بالا رفتن نرخ، تفاوت ناپدید می‌شود؟ انتظار می‌رود: درخواست‌های بیشتری در هر گام شریک می‌شوند، بنابراین یک پرامپت طولانی سهم کوچک‌تری از کل سهمیه را می‌گیرد و قطعه‌بندی متن آن اهمیت کمتری پیدا می‌کند.
  • سطح 3: هر دو سهمیه در کمترین نرخ، اولین توکن را دیرتر از نرخ بعدی تحویل دادند. این موضوع را چگونه گزارش می‌کنید؟ انتظار می‌رود: هر سه سید روی این موضوع هم‌نظر بودند، پس مسئله وجود یک سید کند نیست؛ چون علت پیدا نشده، این موضوع به عنوان یک نتیجه‌ی بی‌پاسخ می‌ماند و قانونی بر پایه‌ی آن ساخته نمی‌شود.
  • سطح 4: آیا سهمیه‌ای وجود دارد که در تمام بارهای کاری برنده باشد؟ انتظار می‌رود: خیر؛ سهمیه‌ی بزرگ وقتی فشار پیش‌پرکنی کم است برنده می‌شود و سهمیه‌ی کوچک وقتی چند پیش‌پرکنی با جریان‌ها رقابت می‌کنند؛ بنابراین مقدار آن باید با تغییر بار کاری تنظیم شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سهمیه‌ی بزرگ‌تر هزینه‌ای ندارد چون GPU در بار کاری پایین توان محاسباتی اضافه دارد.» هر گام با یک قطعه‌ی بزرگ‌تر بیشتر طول می‌کشد و تمام جریان‌های در حال تولید باید منتظر آن بمانند؛ مقدار P99 ITL در 0.5 درخواست در ثانیه 39 درصد افزایش یافت.
  • «سهمیه را یک‌بار بر اساس ظرفیت GPU تنظیم کنید و دیگر به آن دست نزنید.» بهترین مقدار با تغییر نرخ درخواست در این اجراها تغییر کرد، پس در نرخ واقعی خود اندازه بگیرید و با تغییر بار کاری سنجش را تکرار کنید.
  • «افت زمان از 1,145 به 906 میلی‌ثانیه، بهبود زمان اولین توکن را اثبات می‌کند.» محدوده‌ی پراکندگی سیدها برای اولین توکن همپوشانی داشت، بنابراین هزینه قطعی است اما دستاورد اثبات نشده است.

کجای دوره آموزش داده می‌شود

بخش از معطل شدن پرامپت‌های کوتاه توسط پرامپت‌های طولانی جلوگیری کنید شش ردیف اندازه‌گیری‌شده و ترتیب تیونینگ را آورده است.