سؤال مصاحبه

بنچمارکی با سرورهای تفکیک‌شده که پاسخ‌های خالی را شمرد

A split-server benchmark that counted empty answers

  • سطح ۴: استف
  • کدخوانی
  • ۱۰ دقیقه

تیمی مدل Qwen/Qwen3-8B را روی دو کارت گرافیک L4 از طریق TCP به دو بخش سرور پیش‌پرکنی (prefill) و سرور رمزگشایی (decode) تفکیک کردند، بنچمارک حلقه-باز را با نرخ 8 درخواست در ثانیه از طریق مسیریاب (router) اجرا کردند و نتیجه را یک پیروزی خواندند: 751.85 توکن خروجی در ثانیه، در مقایسه با 728.61 برای یک سرور تک‌کارت FP8 با همان نرخ. در ادامه خطوطی از لاگ پیش‌پرکنی، لاگ رمزگشایی و خلاصه‌ی بنچمارک آمده است. آن‌ها را بخوانید و بگویید چه می‌بینید.

… Decode batch, #running-req: 2, #token: 1206, token usage: 0.41, pre-allocated usage: 0.00, #prealloc-req: 19, #transfer-req: 0, #retracted-req: 0
… TCP lane queue-full rejection count: 4096
… Session 151.242.195.41:15367 failed.
Prefill transfer failed lines: 2902
Successful requests:                     240
Total generated tokens (retokenized):    0
Mean TTFT (ms):                          0.00

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این اجرا هیچ متنی تولید نکرد. هر درخواست از دید مسیریاب موفق شمرده شد، اما وقتی کلاینت خروجی را مجدداً توکن‌بندی کرد، صفر توکن برگشته بود و میانگین زمان تا اولین توکن (TTFT) برابر با 0.00 میلی‌ثانیه نیز اصلاً یک اندازه‌گیری واقعی به حساب نمی‌آید. لاگ رمزگشایی علت را نشان می‌دهد: نسخه‌ی رمزگشایی فقط می‌توانست 2 درخواست را اجرا کند، در حالی که 19 تای دیگر منتظر حافظه بودند. پیش‌پرکنی مدام برای آن‌ها کش کلید-مقدار (KV cache) تولید می‌کرد، صف انتقال TCP به رمزگشایی پر شد و 4096 بار درخواست‌ها را رد کرد، نشست (session) از دست رفت و به‌دنبال آن 2902 انتقال بعدی هم شکست خوردند؛ بنابراین، عدد 751.85 صرفاً سرعتِ بازگرداندن پاسخ‌های خالی توسط مسیریاب است.

پاسخ کامل

خطوط را به ترتیب بخوانید

  1. #running-req: 2 همراه با #prealloc-req: 19 در مصرف توکن 0.41. سمت رمزگشایی دو درخواست را اجرا می‌کند و 19 تای دیگر منتظر حافظه‌ی رمزگشایی هستند. این استخر کوچک است: سرور رمزگشایی روی کارت مشترک با ظرفیت 2,925 توکن نشسته بود، در حالی که کارت پیش‌پرکنی 24,094 توکن داشت.
  2. TCP lane queue-full rejection count: 4096. پیش‌پرکنی مدام برای درخواست‌هایی کش کلید-مقدار تولید کرد که رمزگشایی توان پذیرش آن‌ها را نداشت؛ در نتیجه صف انتقال به رمزگشایی پر شد.
  3. Session ... failed. سه دقیقه پس از شروع آزمون، نشستِ انتقال از کار افتاد و دیگر برنگشت.
  4. Prefill transfer failed lines: 2902. انتقال تمام درخواست‌های بعدی با شکست مواجه شد.
  5. Successful requests: 240 همراه با Total generated tokens (retokenized): 0 و Mean TTFT (ms): 0.00. هر درخواست ناموفق همچنان از طریق مسیریاب کد HTTP 200 برگرداند، اما بدون هیچ متنی.

چرا گزارش خلاصه دروغ گفت؟

کلاینت موفقیت را بر اساس کد وضعیت می‌شمارد. خط نرخ پردازش (throughput) توکن‌هایی را حساب می‌کند که کلاینت درخواست کرده بود (128 توکن به ازای هر درخواست بدون احتساب توکن پایانی)، نه توکن‌هایی که واقعاً تحویل گرفت. فقط دو عدد دست این اجرا را رو کردند: توکن‌های خروجیِ دوباره توکن‌بندی‌شده که آنچه واقعاً برگشته را می‌شمارند، و زمان رسیدن به اولین توکن برابر با صفر، که هیچ درخواست واقعی نمی‌تواند چنین مقداری داشته باشد. مستندات راهنما این رقم نرخ پردازش را منتشر نکرد، و ابزار آن حالا هر اجرایی را که در آن همه‌ی درخواست‌ها TTFT برابر با 0 داشته باشند، رد می‌کند.

جابه‌جایی نقش‌ها

تیم سپس جای دو بخش را عوض کرد: رمزگشایی را روی کارتی با استخر کامل 24,094 توکنی گذاشت و پیش‌پرکنی را به کارت مشترک با 2,925 توکن برد. از 1 تا 8 کاربر، همه‌ی درخواست‌ها به همراه متن برگشتند. در 16 کاربر، از 8,192 توکن تولیدشده تنها 2,048 توکن در قالب متن برگشت. در 32 کاربر، همه‌ی درخواست‌ها خالی برگشتند و ابزارْ ادامه‌ی آزمون را متوقف کرد. چیدمان اولیه حتی زودتر شکست خورده بود: در 2 کاربر فقط 512 توکن از 2,048 توکن تولیدی برگشت، و در 4 کاربر هیچ توکنی برنگشت. نتیجه‌گیری مستندات راهنما این است که تحت بار کاری، هیچ نتیجه‌ی اندازه‌گیری‌شده‌ای برای تفکیک روی این جفت کارت ندارد و ادعایی هم مطرح نمی‌کند.

قاعده‌ی کلی

پیش از بررسی نرخ پردازش در هر بنچمارک تفکیک‌شده (disaggregated)، همیشه Total generated tokens (retokenized) را با Total generated tokens بسنجید، و توزیع TTFT را برای پیدا کردن مقادیری که نمی‌توانند واقعی باشند زیر ذره‌بین بگذارید. در محیط عملیاتی (production)، شمارنده‌های شکست در بوت‌استرپ (bootstrap-failed) و خطا در انتقال (transfer-failed)، تاخیر (latency) و سرعت انتقال، و سنجه‌های تخصیص اولیه‌ی رمزگشایی و صف انتقال را زیر نظر بگیرید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام دو عدد در چنین خلاصه‌ای را باید حتماً پیش از نرخ پردازش بخوانید؟ پاسخ مورد انتظار: مقایسه‌ی توکن‌های خروجیِ دوباره توکن‌بندی‌شده با توکن‌های تولیدی، و توزیع TTFT؛ هرگونه اختلاف میان این دو شمارنده‌ی توکن یا صفر بودن اولین توکن به این معناست که درخواست‌ها بدون متن برگشته‌اند.
  • سطح 4: چرا استخر رمزگشایی پر شد در حالی که پیش‌پرکنی همچنان کار می‌کرد؟ پاسخ مورد انتظار: نسخه‌ی رمزگشایی روی کارت مشترک با استخری به ظرفیت 2,925 توکن نشسته بود، بنابراین فقط 2 درخواست را اجرا می‌کرد و 19 درخواست منتظر حافظه ماندند؛ پیش‌پرکنی 24,094 توکن فضا داشت و مدام برای آن‌ها کش کلید-مقدار تولید می‌کرد، در نتیجه صف انتقال به رمزگشایی پر شد و نشست از بین رفت.
  • سطح 4: چیدمان جابه‌جاشده تا 8 کاربر متن برگرداند و در 16 و 32 کاربر آن را از دست داد. این موضوع درباره‌ی این جفت کارت چه می‌گوید؟ پاسخ مورد انتظار: طرف کوچک‌تر، فارغ از نقشی که دارد، این جفت را محدود می‌کند؛ وقتی پیش‌پرکنی روی کارت کوچک‌تر قرار گرفت، در 16 کاربر 2,048 توکن از 8,192 توکن تولیدی برگشت و در 32 کاربر هیچ، بنابراین هیچ نتیجه‌ی اندازه‌گیری‌شده‌ای برای این جفت کارت زیر بار وجود ندارد و گزارش صادقانه هم همین را می‌گوید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «240 درخواست از 240 تا موفق بوده، پس سیستم سالم است.» مسیریاب برای هر درخواست شکست‌خورده HTTP 200 برگرداند، اما بدون هیچ متنی؛ صفر بودن توکن‌های دوباره توکن‌بندی‌شده و TTFT معادل 0.00 میلی‌ثانیه نشان می‌دهد که هیچ خروجی‌ای تولید نشده است.
  • «751.85 از 728.61 بیشتر است، پس تفکیک برنده شد.» این عدد توکن‌های درخواستیِ کلاینت را می‌شمارد، نه توکن‌هایی را که دریافت کرده است؛ مستندات راهنما آن را منتشر نکرد و ابزار آن حالا هر اجرایی را که TTFT تمام درخواست‌هایش 0 باشد رد می‌کند.
  • «مشکل از بستر TCP است، پس از RDMA استفاده کنید.» صف پر شد چون رمزگشایی نمی‌توانست کش کلید-مقدار را تحویل بگیرد: در استخر 2,925 توکنی، 2 درخواست در حال اجرا و 19 تا منتظر حافظه بودند؛ لینک سریع‌تر حافظه‌ای به سمت رمزگشایی اضافه نمی‌کند.
  • «تلاش‌های مجدد انتقال‌های ناموفق را درست می‌کرد.» نشست سه دقیقه پس از شروع از کار افتاد و دیگر برنگشت، بنابراین تمام انتقال‌های بعدی شکست خوردند؛ چاره‌ی کار استخری برای رمزگشایی است که بتواند درخواست‌ها را در خود نگه دارد و بررسی اینکه خروجی واقعاً وجود داشته باشد.

کجای دوره آموزش داده می‌شود

بخش تفکیک در SGLang شامل فهرست پر شدن صف، چیدمان جابه‌جاشده و قاعده‌ی بررسی توکن‌های دوباره توکن‌بندی‌شده است.