سؤال مصاحبه

چرا «255 توکن بر ثانیه» فقط یک شعار است

Why 255 tokens per second is a slogan

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

هم‌تیمی شما در کانال تیم پیام می‌گذارد که سرور دارد 255 توکن بر ثانیه پردازش می‌کند. آیا این واقعاً یک نتیجه است؟ چه معیارهایی باید بخواهید، و کدام عددِ واحد به شما می‌گوید از کجا به بعد نباید کاربر جدید اضافه کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این یک شعار است، نه یک نتیجه؛ چون نرخ پردازش (Throughput) بدون تاخیرِ (Latency) همراهش، چیزی از تجربه‌ی کاربر را نشان نمی‌دهد. باید هم‌زمانی (Concurrency)، مقدار میانه و صدک 99 (P99) زمان تا اولین توکن و زمان به ازای هر توکن را در همان هم‌زمانی، همراه با نوع کلاینت، دما (Temperature) و فرکانس کلاک بخواهید. نرخ پردازش موثر (Goodput) همان عددی است که مرز را تعیین می‌کند: تعداد درخواست بر ثانیه، یا سهمی از درخواست‌ها، که هم‌زمان به تک‌تک اهداف تاخیر رسیده‌اند. روی سرور GB10 در کتابچه‌ی راهنما، نرخ پردازش موثر سرور در دقت BF16 در سقف 4 کاربر به بیشترین مقدار رسید؛ در حالی که نرخ پردازش خام آن تا سقف 64 کاربر همچنان بالا می‌رفت.

پاسخ کامل

یک سرور مشابه، دو بار پردازشی

عدد 255 از خروجی‌های ثبت‌شده در خودِ کتابچه‌ی راهنما آمده است. یک سرور مشخص همین نرخ پردازش را ثبت کرد، اما میانه‌ی زمان تا اولین توکن در یک بار پردازشی 0.8 ثانیه و در بار دیگر 3.9 ثانیه بود:

سقف (Cap) توکن خروجی بر ثانیه میانه‌ی TTFT صدک 99 (P99) TTFT میانه‌ی TPOT
1 175.15 162.98 میلی‌ثانیه 270.18 میلی‌ثانیه 4.38 میلی‌ثانیه
8 255.63 785.79 میلی‌ثانیه 2180.87 میلی‌ثانیه 22.52 میلی‌ثانیه
32 252.74 3917.54 میلی‌ثانیه 8262.86 میلی‌ثانیه 93.61 میلی‌ثانیه

وقتی سقف کاربران از 8 به 32 رسید، نرخ پردازش حدود 1 درصد افت کرد، میانه‌ی اولین توکن 5 برابر کندتر شد و میانه‌ی زمان به ازای هر توکن هم 4.2 برابر کاهش یافت. سرور دیگر توان محاسباتیِ بیکاری برای عرضه نداشت؛ کاربران جدید فقط منتظر می‌ماندند تا سهمی از همان گام‌های پردازشی موجود به آن‌ها برسد.

نرخ پردازش موثر (Goodput)

نرخ پردازش موثر سهمی از درخواست‌ها، یا نرخ درخواست‌ها بر ثانیه است که هم‌زمان به همه‌ی کران‌های تاخیر پایبند بمانند: اولین توکن زیر یک سقف مشخص، زمان به ازای هر توکن زیر یک سقف مشخص، و زمان سرتاسری (End-to-end) زیر یک سقف مشخص. اگر درخواستی حتی یکی از این‌ها را از دست بدهد، دیگر مطلوب نیست. قاعده‌ی این درس مشخص است: نرخ پردازش بالا با 60 درصد نرخ پردازش موثر یک شکست است، و نرخ پردازش پایین‌تر با 99 درصد نرخ پردازش موثر همان هدف مطلوب است.

هدف تعیین‌شده در کتابچه‌ی راهنما، اولین توکن زیر 1 ثانیه و میانگین زمان به ازای هر توکن زیر 100 میلی‌ثانیه بود. روی GB10 با مدل Qwen3-30B-A3B:

سقف (Cap) نرخ پردازش موثر BF16 میانه‌ی TPOT در BF16 نرخ پردازش موثر FP8 میانه‌ی TPOT در FP8
4 0.44 درخواست بر ثانیه 71.01 میلی‌ثانیه 0.80 درخواست بر ثانیه 38.60 میلی‌ثانیه
8 0 (در یک سید تا 0.04) 102.21 میلی‌ثانیه 1.07 درخواست بر ثانیه 54.96 میلی‌ثانیه
16 0 154.24 میلی‌ثانیه 1.10 درخواست بر ثانیه 81.90 میلی‌ثانیه
32 0 201.91 میلی‌ثانیه 0 104.12 میلی‌ثانیه

نرخ پردازش موثر در BF16 در سقف 4 به اوج رسید. در سقف 8، میانه‌ی درخواست‌ها به بیش از 100 میلی‌ثانیه به ازای هر توکن رسید؛ یعنی دست‌کم نیمی از درخواست‌ها هدف را از دست دادند و نرخ پردازش موثر 0 شد (در یک سید تا 0.04). این در شرایطی رخ داد که نرخ پردازش در همان سقف 74.11 توکن بر ثانیه بود و مدام هم بالا می‌رفت. دقت FP8 تا سقف 16 به این هدف وفادار ماند. سقف بار را بر اساس نرخ پردازش موثر و متناسب با هدف خودتان انتخاب کنید، و از منحنی نرخ پردازش فقط برای تفسیر و توضیح آن استفاده کنید.

چرا میانگین، شاخص آماری نادرستی است

این درس ساختار مسئله را نشان می‌دهد: یک دسته‌ی (Batch) رمزگشایی (Decode) که همسایه‌ای با یک پیش‌پرکنی (Prefill) طولانی دارد، می‌تواند اکثر توکن‌ها را در نزدیکی 7 میلی‌ثانیه به ازای هر توکن تولید کند و تعداد کمی را نزدیک 60 میلی‌ثانیه. در نتیجه میانگین 9 میلی‌ثانیه خوانده می‌شود، در حالی که صدک 99 عدد 65 میلی‌ثانیه را نشان می‌دهد و کاربران هم مرتباً به همین صدک 99 برخورد می‌کنند. همیشه میانه، صدک 90 (P90) و صدک 99 را با هم گزارش کنید. ابزارها هم در تعریف این معیار یک‌صدا نیستند: برای درخواستی با زمان اولین توکن 500 میلی‌ثانیه و 100 توکن خروجی در طول 700 میلی‌ثانیه رمزگشایی، ابزاری که اولین توکن را کنار بگذارد 7.07 میلی‌ثانیه به ازای هر توکن گزارش می‌دهد و ابزاری که آن را به حساب بیاورد 12.00 میلی‌ثانیه. کنار هر عدد، نام ابزار و تعریف آن را قید کنید.

نقطه‌ی زانو کجاست، و چه کسی آن را کنترل می‌کند

یک حلقه‌ی بسته (Closed loop) هیچ‌وقت عقب نمی‌ماند؛ چون هر کلاینت پیش از ارسال درخواست بعدی، منتظر پاسخ خود می‌ماند. اما نرخ ورود ثابت منتظر نمی‌ماند. در یک نرخ ثابت، سرور GB10 با دقت BF16 حتی در 0.5 درخواست بر ثانیه میانه‌ی زمان به ازای هر توکن 177.5 میلی‌ثانیه‌ای داشت و تنها برای 0.07 درخواست بر ثانیه هدف را برآورده کرد؛ در حالی که FP8 تا 1 درخواست بر ثانیه به هدف تک‌تک درخواست‌ها رسید و در 2 درخواست بر ثانیه به 0.17 افت کرد. نقطه‌ی زانو (Knee) را بیرون از موتور، یعنی در سمت کلاینت یا درگاه (Gateway) کنترل کنید؛ چرا که حد پذیرش خودِ موتور به حافظه وابسته است و روی آن سرور روی 4096 درخواست در حال اجرا قرار داشت؛ یعنی بسیار بالاتر از نقطه‌ی زانو.

محدودیت بنیادین پشت یک عدد

این درس نشان می‌دهد زمان به ازای هر توکن روی یک کارت L4 از کجا می‌آید: یک گام رمزگشایی نیازمند خواندن 16.41 گیگابایت وزن است که با پهنای باند 300 گیگابایت بر ثانیه دست‌کم 54.7 میلی‌ثانیه طول می‌کشد، و گام اندازه‌گیری‌شده هم 60.16 میلی‌ثانیه زمان برد. هدف 100 میلی‌ثانیه به ازای هر توکن روی این کارت، جای چندانی برای یک مدل 8B با دقت (Precision) معادل BF16 باقی نمی‌گذارد؛ دقیقاً به همین دلیل است که پول حافظه و دقت محاسباتی پیش از اسکژولر (Scheduler) اهمیت پیدا می‌کنند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چه اعدادی باید کنار رقم نرخ پردازش بیایند؟ مورد انتظار: هم‌زمانی یا نرخ ورودی درخواست‌ها، همراه با میانه و صدک 99 زمان اولین توکن و زمان به ازای هر توکن در همان نقطه، به همراه کلاینت، دما و فرکانس کلاک به عنوان بستر تست.
  • سطح 2: نرخ پردازش موثر در سقف 8 به صفر رسید، در حالی که نرخ پردازش همچنان صعودی بود. چطور هر دو می‌توانند درست باشند؟ مورد انتظار: سرور توکن‌های بیشتری در ثانیه تولید می‌کرد، اما پردازش میانه‌ی درخواست‌ها بیش از 100 میلی‌ثانیه به ازای هر توکن طول کشید؛ بنابراین حداقل نیمی از درخواست‌ها هدف را از دست دادند و تقریباً هیچ درخواستی تمام شروط را برآورده نکرد. نرخ پردازش، توکن‌ها را می‌شمارد و نرخ پردازش موثر درخواست‌هایی را که به‌موقع رسیده‌اند.
  • سطح 3: چرا میانگین، شاخص آماری نادرستی برای زمان به ازای هر توکن است؟ مورد انتظار: این توزیع چولگی به راست (Right-skewed) با دنباله‌ای کشیده دارد؛ یک دسته با یک همسایه‌ی پیش‌پرکنی طولانی می‌تواند بیشتر توکن‌ها را نزدیک 7 میلی‌ثانیه و اندکی را نزدیک 60 میلی‌ثانیه تحویل دهد؛ به همین دلیل میانگین 9 میلی‌ثانیه به دست می‌آید اما صدک 99 عدد 65 میلی‌ثانیه است، و کاربران مدام به صدک 99 برخورد می‌کنند.
  • سطح 4: دو ابزار مختلف برای یک اجرای یکسان، زمان به ازای هر توکن متفاوتی گزارش می‌کنند. چرا، و چه باید کرد؟ مورد انتظار: یکی از آن‌ها اولین توکن را از محاسبه‌ی زمان بین توکن‌ها حذف می‌کند و دیگری آن را نگه می‌دارد (7.07 در برابر 12.00 میلی‌ثانیه در مثال درس). نام ابزار و تعریف فرمول را کنار هر عدد اعلام کنید، و برای مقایسه‌ی اجراها همواره از یک ابزار ثابت استفاده کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «255 توکن بر ثانیه نهایت ظرفیت سرور است.» همان سرور همین نرخ پردازش را با میانه‌ی زمان اولین توکن 0.8 ثانیه در یک بار پردازشی و 3.9 ثانیه در باری دیگر تحویل داد؛ عدد بدون تاخیر متناظر، نتیجه نیست.
  • «آن‌قدر کاربر اضافه کنید تا رشد نرخ پردازش متوقف شود، سپس دست بکشید.» روی GB10 نرخ پردازش BF16 تا سقف 64 کاربر بالا رفت، در حالی که نرخ پردازش موثر از سقف 8 به بعد صفر یا نزدیک به آن بود؛ هدف تاخیر حد را تعیین می‌کند، نه منحنی نرخ پردازش.
  • «میانگین زمان به ازای هر توکن را گزارش کنید.» توزیع داده‌ها چولگی به راست دارد؛ بنابراین میانگین 9 میلی‌ثانیه می‌تواند صدک 99 معادل 65 میلی‌ثانیه را پنهان کند. میانه، صدک 90 و صدک 99 را گزارش دهید.
  • «حد پذیرش خودِ موتور از کاربران محافظت می‌کند.» محدودیت خودِ موتور ناشی از حافظه است که بسیار بعد از غیرقابل‌قبول شدن تاخیر رخ می‌دهد؛ نقطه‌ی زانو را در سمت کلاینت یا درگاه کنترل کنید.

کجای دوره آموزش داده می‌شود

بخش‌های بنچمارک در SGLang و بنچمارک سرور خود در 15 دقیقه به سنجش نقطه‌ی زانو می‌پردازند، و درس معیارهای استنتاج نرخ پردازش موثر را تعریف می‌کند.