سناریوی رخداد

بنچمارک تفکیک‌شده‌ای که شکست‌ها را موفقیت شمرد

A split benchmark that counted failures as wins

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

تیمی می‌خواهد نگذارد پرامپت‌های (prompts) طولانی، جریان خروجیِ بقیه‌ی کاربران را متوقف کنند؛ بنابراین مدل Qwen/Qwen3-8B را دو تکه می‌کند: یک سرور پیش‌پرکنی (prefill) روی اولین کارت L4 و یک سرور رمزگشایی (decode) روی دومین کارت L4، پشت یک مسیریاب (router). این دو کارت رابط RDMA ندارند، بنابراین کش کلید-مقدار (KV cache) از طریق TCP جابه‌جا می‌شود. روی کارت دوم، پادهای (pods) یک تیم دیگر هم در حال اجرا هستند.

آن‌ها روبش با نرخ ثابت را از طریق مسیریاب اجرا می‌کنند. در نرخ ثابت 8 درخواست بر ثانیه، گزارش خلاصه 240 درخواست موفق از 240 درخواست و نرخ پردازش (throughput) خروجی 751.85 توکن بر ثانیه را نشان می‌دهد؛ یعنی بالاتر از 728.61 که بهترین نتیجه‌ی تک‌سرورشان در همین نرخ بود. اسلاید آماده است. اما یکی از داوران خلاصه را یک بار دیگر می‌خواند و روی یک سطر متوقف می‌شود: میانگین زمان تا اولین توکن (mean TTFT) برابر با 0.00 میلی‌ثانیه است.

نسخه
SGLang 0.5.22 with the mooncake_tcp transfer backend
مدل
Qwen/Qwen3-8B
سخت‌افزار
two L4s in one node, the second shared with another team

شواهد

queue-fills.txt
title: the decode server waits, the transfer queue fills, the session dies
source: manuals/sglang-101/capture/gpu/incidents/l4-pd-mooncake-tcp-queue.txt
lines: 4-9
lang: text
note: Read the running and pre-allocated counts in the first line, then the rejection count and the session line.
---
[2026-10-17 10:54:07] Decode batch, #running-req: 2, #token: 1206, token usage: 0.41, pre-allocated usage: 0.00, #prealloc-req: 19, #transfer-req: 0, #retracted-req: 0, cuda graph: True, gen throughput (token/s): 18.98, #queue-req: 0
W1017 10:54:14.179170 883755 tcp_transport_lane_impl.h:1330] TCP lane queue-full rejection count: 4096
[2026-10-17 10:54:14] Session 151.242.195.41:15367 failed.
[2026-10-17 10:54:14] Prefill transfer failed for request rank=0 req.rid='3d27bab753fa45338a40b508fda1077f' req.bootstrap_room=540297584272915152 with exception KVTransferError(bootstrap_room=540297584272915152): Failed to send kv chunk of 540297584272915152 to 151.242.195.41:34809
[2026-10-17 10:54:14] Prefill transfer failed for request rank=0 req.rid='75bbdaa9279948399010049259adb752' req.bootstrap_room=5255199250850718981 with exception KVTransferError(bootstrap_room=5255199250850718981): Decode instance could be dead, remote mooncake session 151.242.195.41:15367 is not alive
[2026-10-17 10:54:14] Decode transfer failed for request rank=0 decode_req.req.rid='df321d30a3ca4921857c744d12207682' decode_req.req.bootstrap_room=540297584272915152 with exception KVTransferError(bootstrap_room=540297584272915152): Failed to get kvcache from prefill instance, it might be dead
sweep-summary-lines.txt
title: the summary lines of the sweep with prefill on the full card and decode on the shared card
source: manuals/sglang-101/capture/gpu/incidents/l4-pd-summary-lines.txt
lines: 2-8
lang: text
note: Follow the retokenized tokens and the throughput as the load grows.
---
load/pd/c1-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 2048 |Output token throughput (tok/s): 5.60 |
load/pd/c2-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 512 |Output token throughput (tok/s): 71.70 |
load/pd/c4-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 0 |Output token throughput (tok/s): 2516.97 |
rate/pd/r0.5-s1: Successful requests: 32 |Total generated tokens: 4096 |Total generated tokens (retokenized): 896 |Output token throughput (tok/s): 62.42 |
rate/pd/r0.5-s2: Successful requests: 32 |Total generated tokens: 4096 |Total generated tokens (retokenized): 0 |Output token throughput (tok/s): 113.28 |
rate/pd/r1-s1: Successful requests: 32 |Total generated tokens: 4096 |Total generated tokens (retokenized): 0 |Output token throughput (tok/s): 161.76 |
rate/pd/r8-s1: Successful requests: 240 |Total generated tokens: 30720 |Total generated tokens (retokenized): 0 |Output token throughput (tok/s): 751.85 |
the-summary-that-lied.txt
title: the count of failed transfers and the benchmark summary at 8 requests per second
source: manuals/sglang-101/capture/gpu/incidents/l4-pd-mooncake-tcp-queue.txt
lines: 10-14
lang: text
note: Compare the successful requests with the retokenized tokens and the mean TTFT.
---
Prefill transfer failed lines: 2902
Successful requests:                     240       
Total generated tokens:                  30720     
Total generated tokens (retokenized):    0         
Mean TTFT (ms):                          0.00      
the-swap.txt
title: the same sweep with the roles swapped
source: manuals/sglang-101/capture/gpu/incidents/l4-pd-summary-lines.txt
lines: 9-14
lang: text
note: Find the user count where the retokenized tokens stop matching the generated tokens.
---
load/pd-swap/c1-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 2048 |Output token throughput (tok/s): 15.09 |
load/pd-swap/c2-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 2048 |Output token throughput (tok/s): 28.86 |
load/pd-swap/c4-s1: Successful requests: 16 |Total generated tokens: 2048 |Total generated tokens (retokenized): 2048 |Output token throughput (tok/s): 54.99 |
load/pd-swap/c8-s1: Successful requests: 32 |Total generated tokens: 4096 |Total generated tokens (retokenized): 4096 |Output token throughput (tok/s): 102.03 |
load/pd-swap/c16-s1: Successful requests: 64 |Total generated tokens: 8192 |Total generated tokens (retokenized): 2048 |Output token throughput (tok/s): 338.44 |
load/pd-swap/c32-s1: Successful requests: 128 |Total generated tokens: 16384 |Total generated tokens (retokenized): 0 |Output token throughput (tok/s): 333.41 |
two-pools.txt
title: the transfer backend and the two KV pools at startup
source: manuals/sglang-101/capture/gpu/incidents/l4-pd-mooncake-tcp-queue.txt
lines: 1-3
lang: text
note: Compare the token count of the two pools.
---
[2026-10-17 10:50:46] disaggregation transfer backend 'mooncake_tcp' -> mooncake with MC_FORCE_TCP=1 (TCP transport, no RDMA)
[2026-10-17 10:51:06] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-17 10:51:05] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 2925, K size: 0.20 GB, V size: 0.20 GB

سؤال‌ها

  1. سطرهای مربوط به دو استخر را بخوانید. آن‌ها چه عدم تقارنی را نشان می‌دهند، و این موضوع با درخواستی که روی یک کارت پیش‌پرکنی و روی کارت دیگر رمزگشایی می‌شود چه می‌کند؟
  2. سطر مربوط به رمزگشایی 2 درخواست در حال اجرا و 19 درخواست ازپیش‌تخصیص‌یافته را نشان می‌دهد. سرور رمزگشایی منتظر چیست، و در این مدت چه چیزی در سمت پیش‌پرکنی انباشته می‌شود؟
  3. بعد از قطع شدن نشست، تک‌تک درخواست‌های بعدی باز هم موفق به حساب آمدند. چطور ممکن است مسیریاب بدون بازگرداندن هیچ متنی وضعیت 200 بدهد، و کدام دو عدد در خلاصه دست آن را رو می‌کنند؟
  4. حالت تفکیک معکوس تا 8 کاربر درست کار کرد، اما از 16 کاربر به بعد متن‌ها از دست رفتند. این موضوع چه نکته‌ای را درباره‌ی جایگاه آسیب‌رسانی استخر کوچک روشن می‌کند؟
  5. قاعده‌ای را بنویسید که ابزار بنچمارک شما باید پیش از چاپ رقم نرخ پردازش اعمال کند.
  6. چه زمانی تفکیک پیش‌پرکنی-رمزگشایی ارزش حالت‌های شکست (failure modes) جدیدش را دارد، و پیش از نگه داشتن آن باید چه اندازه‌گیری‌ای وجود داشته باشد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

از استخرها شروع کنید. سرور پیش‌پرکنی یک کش KV به ظرفیت 24,094 توکن تخصیص داد و سرور رمزگشایی روی کارت اشتراکی، 2,925 توکن تخصیص داد. یک درخواست روی استخر بزرگ پیش‌پرکنی می‌شود و بعد باید در استخر کوچک جا پیدا کند. استخر رمزگشایی هم‌زمان فقط گنجایش حدود چهار درخواست با ابعاد تست ما را دارد؛ بنابراین تقریباً تک‌تک درخواست‌هایی که سمت پیش‌پرکنی تمام می‌کند، ناچارند منتظر حافظه‌ی رمزگشایی بمانند.

گزارش دوم همین انتظار را نشان می‌دهد. سرور رمزگشایی 2 درخواست را اجرا می‌کرد، در حالی که 19 درخواست دیگر از قبل تخصیص یافته و منتظر حافظه بودند. سمت پیش‌پرکنی مدام برای آن‌ها کش KV تولید می‌کرد و مسیر انتقال TCP به سمت رمزگشایی پر شد: لاگ‌ها 4,096 مورد رد شدن درخواست به دلیل پر بودن صف را ثبت کرده‌اند. حدود سه دقیقه پس از شروع روبش، نشست (session) انتقال قطع شد و شکست خورد. پس از آن، تمام انتقال‌ها از هر دو طرف با شکست مواجه شدند: پیش‌پرکنی نمی‌توانست تکه‌ی KV خود را بفرستد، و رمزگشایی هم نمی‌توانست کش را از نمونه‌ی پیش‌پرکنی‌ای بگیرد که به نظرش از کار افتاده بود. نشست دیگر هرگز بازیابی نشد.

گزارش سوم بخش خطرناک ماجراست. لاگ پیش‌پرکنی 2,902 شکست انتقال را ثبت کرده، اما بنچمارک همچنان تک‌تک 240 درخواست را با تولید 30,720 توکن در آن نرخ موفق حساب می‌کند. دو عدد واقعیت را لو می‌دهند: تعداد توکن‌های بازتوکن‌سازی‌شده (retokenized) برابر با 0 است؛ یعنی هیچ متنی برنگشته تا کلاینت بشمارد. میانگین TTFT هم 0.00 میلی‌ثانیه است، چون در اصل هیچ توکن اولی به دست کلاینت نرسیده است. مسیریاب برای درخواستی که بخش رمزگشایی آن اصلاً اجرا نشده بود کد 200 برگرداند، و کلاینت طول خروجیِ درخواست‌شده را به عنوان توکن تولیدشده شمرد. این‌گونه بود که از سروری که حتی یک کلمه خروجی ننوشته بود، نرخ پردازش 751.85 به دست آمد.

سطرهای خلاصه‌ی روبش نشان می‌دهند که این تفکیک زیر هر باری خیلی زود شکست خورده است. در بار 2 کاربر، فقط 512 توکن از 2,048 توکن تولیدشده در قالب متن برگشتند و در بار 4 کاربر هیچ متنی بازنگشت؛ در حالی که نرخ پردازش چاپ‌شده به 2,516.97 جهش کرد. روبش با نرخ ثابت، بیشتر متن‌های خود را از نرخ 0.5 درخواست بر ثانیه به بعد از دست داد. تفکیک معکوس، یعنی رمزگشایی روی کارت کامل و پیش‌پرکنی روی کارت اشتراکی، از 1 تا 8 کاربر با بازتوکن‌سازی کاملِ همه‌ی توکن‌ها کار کرد. در 16 کاربر، فقط 2,048 توکن از 8,192 توکن در قالب متن برگشتند و در 32 کاربر هیچ متنی برنگشت؛ در حالی که نرخ پردازش چاپ‌شده همچنان عدد 333.41 را نشان می‌داد. بنابراین استخر کوچک روی هر طرفی که بنشیند تفکیک را به هم می‌ریزد؛ فقط وقتی در سمت پیش‌پرکنی باشد، این اتفاق دیرتر رخ می‌دهد.

نتیجه

هیچ نتیجه‌ی اندازه‌گیری‌شده‌ای برای این تفکیک زیر بار روی این دو کارت وجود ندارد و تیم نباید ادعایی مطرح کند. نشست انتقال بین دو سرور زیر بارِ استخرهای نامتقارن از کار افتاد و بازیابی نشد، و سپس مسیریاب پاسخ‌های خالی را موفق به حساب آورد.

سه اقدام اصلاحی در پیش است: اول، ابزار بنچمارک باید اجرای هر تستی را که در آن زمان تا اولین توکن برای تمام درخواست‌ها 0 است رد کند و در هر خلاصه، عبارت Total generated tokens (retokenized) را کنار تعداد توکن‌های تولیدشده گزارش دهد. دوم، معماری تفکیک‌شده به دو استخر با اندازه‌ای متناسب با ترافیک نیاز دارد، چیزی که کارت اشتراکی توان ارائه‌اش را نداشت؛ ضمناً سنجه‌های sglang:num_transfer_failed_reqs_total و sglang:num_bootstrap_failed_reqs_total باید در طول اجرا بدون تغییر بمانند. سوم، تیم باید به حالت تک‌سرور بازگردد، تاخیر بین‌توکنی (inter-token latency) را هنگام ورود پرامپت‌های طولانی بسنجد، و فقط در صورتی سراغ تفکیک برود که نتایج نشان دهند تداخل پیش‌پرکنی آن‌قدر زیاد است که کپی‌های داده‌موازی (data-parallel) پشت گیت‌وی هم نمی‌توانند آن را از بین ببرند.

مسیرهای اشتباه رایج
  • «تفکیک سرورها نرخ پردازش 751.85 توکن بر ثانیه را ثبت کرد که بالاتر از تک‌سرور است.» تعداد توکن‌های بازتوکن‌سازی‌شده 0 بود. این نرخ پردازش توکن‌هایی را شمرد که کلاینت درخواست کرده بود، نه توکن‌هایی که واقعاً به مقصد رسیدند.
  • «240 درخواست موفق از 240 درخواست یعنی مسیریاب و هر دو سرور سالم هستند.» مسیریاب برای درخواست‌هایی که انتقالشان با شکست روبه‌رو شده بود کد 200 داد. تنها شمارش توکن‌های بازتوکن‌سازی‌شده و زمان اولین توکن نشان می‌دهند که متن ارسالی کاملاً خالی بوده است.
  • «اندازه‌ی صف انتقال را بالا ببرید تا مسیر رد درخواست ندهد.» مسیر به این دلیل پر شد که سرور رمزگشایی در استخر 2,925 توکنی‌اش فقط جا برای دو درخواست داشت. صف بزرگ‌تر فقط همان شکست حتمی را عقب می‌اندازد.
  • «کارت کامل را به رمزگشایی بدهید تا تفکیک درست کار کند.» تفکیک معکوس هم از 16 کاربر به بعد بخشی از متن‌ها و در 32 کاربر همه‌چیز را از دست داد. استخر کوچک روی هر طرفی که باشد تفکیک را می‌شکند، فقط در ترافیک‌های متفاوتی این اتفاق می‌افتد.
  • «بررسی پنجم را بعداً اضافه می‌کنیم، موعد تحویل اسلاید است.» عدد نرخ پردازشی که از تستی بدون بازگشت متن به دست بیاید عقب‌افتاده نیست، بلکه کاملاً غلط است. قاعده‌ی پذیرش باید پیش از اولین اسلاید داخل ابزار تست تعبیه شود.
درس کلی

پایپ‌لاینی (pipeline) متشکل از دو سرویس می‌تواند در مرز بیرونی‌اش موفقیت گزارش کند در حالی که کار اصلی اصلاً انجام نشده است؛ چرا که مؤلفه‌ی پاسخ‌دهنده به کلاینت، همان مؤلفه‌ای نیست که دچار شکست شده است. هر گزارش بنچمارکی باید بررسی کند که خروجی واقعاً تولید شده باشد، نه این‌که فقط ببیند درخواستی بازگشته است یا نه. همچنین هر معماری تفکیک‌شده‌ای، پیش از آن‌که ارقامش معنایی داشته باشند، به یک خط مبنای (baseline) تک‌سرور و یک شمارنده‌ی شکست انتقال نیاز دارد.

کجای دوره آموزش داده می‌شود

مستندات SGLang هر دو حالت تفکیک را در صفحه‌ی جداسازی توضیح می‌دهد، کلاینت بنچمارک را در صفحه‌ی بنچمارک و مسیریاب را در صفحه‌ی گیت‌وی می‌آورد. مستندات vLLM همین تفکیک را در صفحه‌ی پیش‌پرکنی و رمزگشایی خود پوشش داده و درس تست بار دلایلی را توضیح می‌دهد که چرا کلاینت ممکن است به شما دروغ بگوید.