سؤال مصاحبه

دیکودینگ حدسی بنچمارک را برد، اما در محیط عملیاتی شکست خورد

Speculation won the benchmark and lost in production

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یکی از هم‌تیمی‌ها کارایی EAGLE-3 را روی مدل Qwen/Qwen3-8B و یک کارت L4 با دیتاست تصادفی بنچمارک کرد و دید که زمان به ازای هر توکن با 8 کاربر نصف شد. در محیط عملیاتی (Production)، با 32 کاربر هم‌زمان در چت، نرخ پردازش (Throughput) خروجی هیچ افزایشی نیافت و اولین توکن هم دیرتر رسید. طول پذیرش (Acceptance length) در لاگ‌ها مناسب به نظر می‌رسد. ماجرا چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دو دلیل دارد و طول پذیرش هر دوی آن‌ها را پنهان می‌کند: روی یک کارت 24 گیگابایتی، وزن‌های مدل پیش‌نویس (Draft) فضای استخر را اشغال کردند؛ یعنی استخر کش کلید-مقدار (KV cache pool) از 24,094 به 9,951 توکن کاهش یافت (حدود 15 درخواستِ 640 توکنی). بنابراین با 32 کاربر، بیشتر درخواست‌ها منتظر خالی شدن جایگاه (Slot) ماندند و میانه‌ی زمان تا اولین توکن از 2,970 به 8,040 میلی‌ثانیه رسید. نوع دیتاست هم مهم است: در 32 کاربر، EAGLE-3 روی GSM8K و پرامپت‌های کد 1.6 برابر خروجی بیشتری تولید کرد، اما روی دیتاست تصادفی یا ShareGPT هیچ افزایشی در خروجی نداشت؛ چرا که مدل پیش‌نویس تنها وقتی سودمند است که پردازنده‌ی گرافیکی زمان بیکاری (Idle) داشته باشد و بتواند آن را صرف حدس زدن کند.

پاسخ کامل

ارزیابی همه‌جانبه روی کارت L4

مقایسه‌ی سرور پیش‌فرض با سرور مجهز به EAGLE-3 و مدل پیش‌نویس Tengyunw/qwen3_8b_eagle3، با سه سید (Seed) به ازای هر نقطه، 512 توکن ورودی و 128 توکن خروجی:

همروندی میانه‌ی TPOT پیش‌فرض میانه‌ی TPOT با EAGLE-3 توکن بر ثانیه‌ی خروجی پیش‌فرض توکن بر ثانیه‌ی خروجی با EAGLE-3
1 60.16 میلی‌ثانیه 25.61 میلی‌ثانیه 13.42 31.81
8 66.01 میلی‌ثانیه 35.58 میلی‌ثانیه 112.62 181.55
32 96.18 میلی‌ثانیه 43.82 میلی‌ثانیه 270.11 269.42
64 107.42 میلی‌ثانیه 51.50 میلی‌ثانیه 250.85 245.34

طول پذیرش در تمام سطوح همروندی بین 2.73 تا 2.74 توکن در هر گام ثابت بود. در تمام بارها، هر توکن 1.6 تا 2.3 برابر سریع‌تر تولید شد. با این حال، از همروندی 32 به بعد، سرور هیچ توکن بر ثانیه‌ی بیشتری نسبت به حالت پیش‌فرض تحویل نداد.

ظرفیت استخر نیمه‌ی اول ماجرا را توضیح می‌دهد

لاگ راه‌اندازی سرور EAGLE-3 هزینه‌ی مدل پیش‌نویس را روی کارت کوچک به‌خوبی نشان می‌دهد. مدل هدف به‌تنهایی استخری معادل 24,094 توکن داشت. با بارگذاری مدل پیش‌نویس، ظرفیت استخر به 9,951 توکن رسید؛ یعنی حدود 15 درخواست 640 توکنی، به این معنی که مدل پیش‌نویس نزدیک به 60 درصد از استخر را بلعید. با جا گرفتن 15 درخواست در استخر، بقیه‌ی درخواست‌ها منتظر جایگاه ماندند. در همروندی 32، میانه‌ی زمان تا اولین توکن با EAGLE-3 برابر با 8,040 میلی‌ثانیه و بدون آن 2,970 میلی‌ثانیه بود.

در همان خط لاگ عبارت max_running_requests=48 دیده می‌شود. کنترل‌کننده‌های (Handlers) دیکودینگ حدسی اگر این سقف را تعیین نکنید، آن را به این مقدار محدود می‌کنند؛ آن هم با یک هشدار که قبل از رسیدن اولین درخواست، اسکرول می‌شود و بالا می‌رود. روی کارت GB10 که استخر فضای خالی داشت، همین سقف گلوگاه شد: در 64 کاربر، نرخ پردازش همچنان با دیکودینگ حدسی بالاتر بود (276.32 در برابر 235.38 توکن بر ثانیه)، اما میانه‌ی زمان تا اولین توکن به‌جای 557 میلی‌ثانیه، 7,772 میلی‌ثانیه شد؛ چون 16 درخواست در صف انتظار پشت این 48 درخواست معطل مانده بودند.

دیتاست نیمه‌ی دوم ماجرا را روشن می‌کند

دیتاست تصادفی در این نسخه، اولین نوبت گفت‌وگو (Turn) از مکالمات ShareGPT را برمی‌دارد و با نادیده گرفتن توکن پایان، آن را تا 512 توکن کوتاه یا تکرار می‌کند. سپس مستندات راهنما، همان تست جامع L4 را روی چهار دیتاست با کلاک قفل‌شده روی 900 مگاهرتز و تخلیه‌ی حافظه (Flush) پیش از هر اجرا تکرار کرد:

دیتاست میانه‌ی TPOT در 8 کاربر، پیش‌فرض / EAGLE-3 / NGRAM توکن بر ثانیه‌ی خروجی در 32 کاربر، پیش‌فرض / EAGLE-3 / NGRAM
random 67.6 تا 68.2 / 33.8 تا 39.4 / 68.2 تا 71.4 میلی‌ثانیه 250 تا 254 / 239 تا 242 / 236 تا 250
ShareGPT 66.4 تا 68.6 / 39.5 تا 43.1 / 69.5 تا 72.4 میلی‌ثانیه 281 تا 288 / 277 تا 283 / 245 تا 256
GSM8K 65.5 / 33.3 تا 34.3 / 54.6 تا 55.0 میلی‌ثانیه 397 / 648 تا 660 / 433 تا 435
code 65.9 تا 66.4 / 36.8 / 58.2 تا 58.8 میلی‌ثانیه 365 تا 366 / 566 تا 581 / 377 تا 386

مدل EAGLE-3 در 8 کاربر روی همه‌ی دیتاست‌ها زمان به ازای هر توکن را تقریباً نصف کرد و طول پذیرش آن بین 2.35 تا 2.78 بود. در 32 کاربر، روی GSM8K و کد 1.6 برابر خروجی بیشتری داد. اما روی دیتاست تصادفی و ShareGPT هیچ خروجی بیشتری تولید نکرد و توکن اول آن 2 تا 3 برابر دیرتر رسید؛ چون مدل پیش‌نویس فضای استخری را اشغال کرده بود که صف به آن نیاز داشت. روش NGRAM هم فقط روی GSM8K و کد مؤثر بود (حدود 1.1 تا 1.2 برابر در 8 کاربر)، اما روی دو مجموعه‌ی دیگر کندتر بود و صدک 99 تأخیر بین‌توکنی (P99 ITL) آن به 244 تا 779 میلی‌ثانیه رسید.

کارت و معماری مدل تصمیم می‌گیرند

همین سازوکار روی GB10 با مدل ترکیبی از متخصصان (MoE) یعنی Qwen3-30B-A3B، برتری خود را در تمام بارها حفظ کرد: زمان به ازای هر توکن 1.56 تا 1.89 برابر کوتاه‌تر شد و در 64 کاربر هم 1.17 برابر نرخ پردازش بالاتری ثبت کرد. تحلیل راهنما چنین است: مدل متراکم (Dense) در هر گام تمام وزن‌های خود را می‌خواند، بنابراین دسته‌های (Batch) بزرگ‌تر از قبل توان پردازشی بلااستفاده را به کار می‌گیرند؛ در حالی که مدل متخصص فقط وزن متخصصانی را می‌خواند که توکن‌های آن گام انتخاب کرده‌اند، و فاز تأیید، چهار موقعیت را با همان وزن‌هایی که پیش‌تر خوانده شده‌اند ارزیابی می‌کند. البته این نتیجه فقط مربوط به یک مدل و یک پردازنده‌ی گرافیکی است.

تیم‌های دیگر هم به همین محدودیت‌ها رسیدند. نتایج یک پژوهش ارزیابی نشان داد که پرامپت‌های مصنوعی نرخ پردازش دیکودینگ حدسی را به‌طور میانگین 23 درصد بیشتر از واقعیت برآورد می‌کنند؛ با بزرگ‌تر شدن دسته، بهترین طول پیش‌نویس به 1 کاهش می‌یابد؛ و شناسه‌های توکن تصادفی باعث می‌شوند 20 تا 30 درصد از متخصصان در برخی لایه‌ها بیکار بمانند. مطالعه‌ای در سال 2025 روی بنچمارک‌های سرویس‌دهی نشان داد که با دیکودینگ حدسی، میانه‌ی TPOT حدود 1.3 برابر کمتر اما صدک 99 آن (P99 TPOT) حدود 1.16 برابر بیشتر می‌شود، و توکن اول هم دیرتر تولید می‌شود؛ چرا که مدل پیش‌نویس باید پیش‌پرکنی (Prefill) اختصاصی خودش را اجرا کند.

چه کار کنیم؟

  1. خط KV Cache is allocated را در سرور دیکودینگ حدسی بخوانید و با سرور معمولی مقایسه کنید.
  2. مقدار --max-running-requests را خودتان دستی تنظیم کنید؛ آن هم از نقطه‌ای از همروندی که ارزیابی‌هایتان نشان می‌دهد دیکودینگ حدسی هنوز برتری دارد.
  3. با پرامپت‌های واقعی خودتان و طول خروجی واقعی همراه با --disable-ignore-eos بنچمارک بگیرید و مقدار accept len را روی آن‌ها بررسی کنید.
  4. فقط به میانه نگاه نکنید؛ مقادیر P99 ITL و P99 TTFT را هم مقایسه کنید.
  5. دیکودینگ حدسی را برای ترافیک تعاملی با تعداد کاربر کم به ازای هر کپی (Replica) روشن کنید؛ اما برای کارهای دسته‌ای و همروندی‌های بالا روی کارت‌هایی که ظرفیت استخر محدود است، آن را خاموش نگه دارید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: لاگ‌ها نشان دادند که طول توکن‌های پذیرفته‌شده فارغ از میزان بار، 2.73 توکن در هر گام بوده است. چرا این عدد نتوانست نرخ پردازش را پیش‌بینی کند؟ پاسخ مورد انتظار: طول پذیرش نشان می‌دهد مدل پیش‌نویس چقدر خوب حدس می‌زند، نه این‌که آیا پردازنده‌ی گرافیکی زمان بیکاری برای پردازش این حدس‌ها دارد یا آیا استخر جا دارد؛ مدل پیش‌نویس فضای استخر را گرفت، صف بزرگ‌تر شد، در نتیجه هر توکن سریع‌تر تولید می‌شد اما سرور خروجی بیشتری نداشت.
  • سطح 3: هم‌تیمی باید کدام خطوط زمان راه‌اندازی را می‌خواند؟ پاسخ مورد انتظار: خط تخصیص حافظه‌ی کش کلید-مقدار (9,951 توکن در مقایسه با 24,094 توکن بدون مدل پیش‌نویس) و سقف 48 درخواست فعال که اگر خودتان تنظیم نکنید، دیکودینگ حدسی اعمال می‌کند.
  • سطح 4: روی GB10 با مدل Qwen3-30B-A3B، برتری عملکرد تا 64 کاربر هم حفظ شد. چرا یک مدل مبتنی بر متخصصان رفتاری متفاوت نشان می‌دهد؟ پاسخ مورد انتظار: مدل متراکم در هر گام همه‌ی وزن‌هایش را می‌خواند و دسته‌های بزرگ‌تر از قبل توان پردازشی آزاد را مصرف می‌کنند؛ اما مدل متخصص فقط متخصصانی را می‌خواند که توکن‌های آن گام انتخاب کرده‌اند، و فاز اعتبارسنجی هم چهار موقعیت را با همان وزن‌هایی که قبلاً خوانده شده‌اند امتیازدهی می‌کند؛ بنابراین برتری 1.56 برابری یا بیشتر حفظ شد. راهنما یادآوری می‌کند این نتیجه فقط مربوط به یک مدل و یک پردازنده‌ی گرافیکی است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «طول پذیرش خوب است، پس دیکودینگ حدسی درست کار می‌کند.» این معیار فقط حدس‌های مدل پیش‌نویس را می‌سنجد، نه سرور را؛ روی L4 هر توکن در تمام بارها 1.6 تا 2.3 برابر سریع‌تر تولید شد، اما از همروندی 32 به بعد، سرور هیچ توکن بر ثانیه‌ی بیشتری تحویل نداد.
  • «پرامپت‌های تصادفی متن‌های واقعی هستند، بنابراین بنچمارک واقع‌بینانه است.» مجموعه‌ی تصادفی اولین نوبت گفت‌وگو از مکالمات ShareGPT را برمی‌دارد و با چشم‌پوشی از توکن پایان، آن را تا 512 توکن کوتاه یا تکرار می‌کند؛ دیکودینگ حدسی روی GSM8K و پرامپت‌های کد در 32 کاربر خروجی را 1.6 برابر کرد، اما روی ShareGPT هیچ بهبودی نداشت.
  • «مقدار --max-running-requests را بالا ببرید تا کاربران بیشتری وارد شوند.» روی L4 استخر حافظه تنها برای حدود 15 درخواست جا داشت، بنابراین افزایش این سقف هیچ تغییری ایجاد نمی‌کرد؛ گلوگاه همان ظرفیت استخر بود و مدل پیش‌نویس نزدیک به 60 درصد آن را اشغال کرده بود.
  • «به‌جای آن از NGRAM استفاده کنید، چون به وزن‌های پیش‌نویس نیازی ندارد.» این روش فقط روی GSM8K و کد تا حدی کمک کرد (حدود 1.1 تا 1.2 برابر در 8 کاربر)، اما روی دو مجموعه‌ی دیگر کندتر بود و P99 ITL آن بین 244 تا 779 میلی‌ثانیه شد.

کجای دوره آموزش داده می‌شود

بخش دیکودینگ حدسی در SGLang ارزیابی‌های جامع روی L4 و GB10 و آزمون‌های چهار دیتاست را در بر دارد.