سؤال مصاحبه

نقطه‌ی زانویی که حافظه‌ی پنهان پیشوند پنهانش کرد

The knee that the prefix cache hid

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

اولین آزمون پیمایش هم‌زمانی (concurrency sweep) شما روی یک پردازنده‌ی L4 نشان می‌دهد که میانه‌ی زمان تا اولین توکن تا 16 کاربر برابر با 0.3 ثانیه و در 32 کاربر برابر با 1.8 ثانیه است؛ بنابراین سقف محیط عملیاتی (production) را روی 20 کاربر به ازای هر نسخه (replica) تنظیم می‌کنید. دومین پیمایش که پیش از هر اجرا حافظه را بازنشانی می‌کند، نشان می‌دهد که زمان تا اولین توکن حتی در 16 کاربر هم به 1.6 ثانیه می‌رسد. به کدام پیمایش اعتماد می‌کنید و چرا این دو نتیجه با هم همخوانی ندارند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به پیمایشی اعتماد کنید که بازنشانی داشته است. پیمایش اول از یک سرور ثابت برای همه‌ی تعداد کاربران استفاده کرد و با یک سید (seed) ثابت، در هر دور پرامپت‌های اولیه‌ی یکسانی فرستاد؛ بنابراین در ترافیک زیر 32 کاربر، بسیاری از درخواست‌ها پرامپت خود را در حافظه‌ی پنهان پیشوند (prefix cache) پیدا کردند و از مرحله‌ی پیش‌پرکنی (prefill) گذشتند. با بازنشانی حافظه، میانه‌ی زمان تا اولین توکن در هر گام بالا رفت: حدود 0.65 ثانیه در 4 کاربر، 1.0 ثانیه در 8 کاربر و 1.6 ثانیه در 16 کاربر؛ همچنین صدک 99 تاخیر بین‌توکنی (P99 ITL) از حدود 70 میلی‌ثانیه در 8 کاربر ناگهان به 522 میلی‌ثانیه در 16 کاربر جهش کرد. پس نقطه‌ی زانویی (knee) روی این کارت، بین 8 و 16 کاربر قرار دارد، نه بین 16 و 32.

پاسخ کامل

حافظه‌ی پنهان چگونه نتایج پیمایش اول را دستخوش تورم کرد؟

مجموعه‌داده‌ی تصادفی با یک سید ثابت، در هر اجرا پرامپت‌های یکسانی ارسال می‌کند. پیمایش اول همه‌ی سناریوهای تعداد کاربران را روی یک سرور مشترک اجرا کرد؛ در نتیجه هر اجرا، پرامپت‌های اجراهای قبلی را در حافظه‌ی پنهان می‌دید. جدولی که از مدل Qwen/Qwen3-8B روی vLLM 0.31.0 با سه سید به ازای هر نقطه به دست آمد، به این صورت بود:

کاربران توکن خروجی/ثانیه میانه‌ی TTFT میانه‌ی TPOT P99 ITL
1 13.5 191 ms 60.4 ms 105 ms
8 112.8 253 ms 65.8 ms 67 ms
16 201.3 288 ms 69.5 ms 85 ms
32 275.1 1,800 ms 101.8 ms 613 ms
64 242.3 11,181 ms 129.2 ms 1,233 ms

جهش بین 16 و 32 کاربر شبیه به نقطه‌ی زانویی به نظر می‌رسید؛ این همان اوج نرخ پردازش (throughput) بود. یک پرامپت کش‌شده از مرحله‌ی پیش‌پرکنی صرف‌نظر می‌کند، در نتیجه اولین توکن آن بسیار سریع تولید می‌شود و اکثر درخواست‌های زیر 32 کاربر از این مزیت برخوردار بودند.

مقایسه‌ی اجراها با حافظه‌ی پاک‌شده و پاک‌نشده

همان پیمایش در فرکانس 900 مگاهرتز، با بازنشانی حافظه‌ی پنهان قبل از هر اجرا، در برابر یک اجرای بدون پاک‌سازی در همان نشست (session):

کاربران vLLM، پاک‌شده در برابر پاک‌نشده SGLang، پاک‌شده در برابر پاک‌نشده
4 650 / 145 ms 532 تا 645 / 141 ms
8 951 تا 978 / 264 تا 274 ms 1,174 تا 1,273 / 173 تا 178 ms
16 1,550 تا 1,587 / 294 تا 295 ms 1,804 تا 1,944 / 218 ms
32 1,982 تا 2,084 / 2,012 تا 3,091 ms 3,216 تا 3,228 / 2,710 تا 2,917 ms

از 32 کاربر به بعد، صف درخواست‌ها بر سیستم حاکم شد و بازنشانی حافظه تفاوت چندانی ایجاد نکرد. اما در سطوح پایین‌تر، این حافظه‌ی پنهان بود که اکثر توکن‌های اولیه‌ی سریع را رقم می‌زد.

ابعاد این اثر بر روی یک بار کاری مشخص

ارسال همان 64 پرامپت با 16 کاربر، چهار بار متوالی؛ میانه‌ی TTFT به میلی‌ثانیه به این شکل درآمد: vLLM در اجرای اول 925، در تکرار بدون پاک‌سازی 148، در تکرار پس از پاک‌سازی 1,163 و در یک تکرار دیگر بدون پاک‌سازی 184 را ثبت کرد. SGLang به ترتیب ارقام 394، 82.5، 289 و 77 را نشان داد. تکرار بدون پاک‌سازی، زمان اولین توکن را در vLLM حدود 6 برابر و در SGLang حدود 4.8 برابر کمتر کرد. با این حال، زمان به ازای هر توکن کمتر از 15 درصد تغییر کرد؛ چرا که اصابت به حافظه‌ی پنهان بار پیش‌پرکنی را حذف می‌کند ولی بار رمزگشایی (decode) بدون تغییر باقی می‌ماند.

در پردازنده‌ی GB10، این اثر حتی روند یک پیمایش را وارونه کرد. یک اجرای منفرد از کل بسته، میانه‌ی زمان تا اولین توکن را در سقف 8 کاربر برابر با 677.61 میلی‌ثانیه و در سقف 32 کاربر برابر با 390.38 میلی‌ثانیه خواند: بار کاری بیشتر، توکن اول سریع‌تر! خطوط لاگ پیش‌پرکنی علت را فاش کردند. در سقف 8 کاربر، 16 پرامپت از 64 پرامپت قبل از شروع اجرا در حافظه‌ی پنهان بودند؛ در 32 کاربر، 64 تا از 128 پرامپت؛ و در 64 کاربر، 128 تا از 256 پرامپت. استفاده از سه سید مختلف روی سرورهای تازه راه‌اندازی‌شده، ترتیب منطقی زمان توکن اول را برگرداند: 209.98 میلی‌ثانیه در 8 کاربر و 416.37 میلی‌ثانیه در 32 کاربر.

پروتکل بنچمارک صحیح

  1. هر اجرا را با حافظه‌ی پنهان خالی شروع کنید. سرور را ری‌استارت کنید یا مسیر بازنشانی را فراخوانی کنید: مسیر POST /reset_prefix_cache در vLLM که فقط در صورت فعال بودن VLLM_SERVER_DEV_MODE=1 وجود دارد و هرگز نباید در دسترس عموم قرار گیرد، یا فلگ --flush-cache در کلاینت SGLang که مسیر /flush_cache را پس از گرم‌کردن اولیه (warm-up) صدا می‌زند. SGLang تنها زمانی حافظه را پاک می‌کند که هیچ درخواستی در حال اجرا یا در صف انتظار نباشد؛ در غیر این صورت، این مسیر کد HTTP 400 برمی‌گرداند و پیام آن در لاگ ثبت می‌شود.
  2. برای هر اجرا یک سید جدید به کار ببرید تا مجموعه‌داده‌ی تصادفی، پرامپت‌های تازه‌ای ارسال کند.
  3. توکن‌های کش‌شده را ثبت کنید. شمارنده‌های حافظه‌ی پنهان پیشوند را قبل و بعد از اجرا بخوانید، یا شمارش جزئیات به ازای هر پاسخ را فعال کنید: گزینه‌ی --enable-prompt-tokens-details در vLLM و --enable-cache-report در SGLang.
  4. تنظیمات حافظه‌ی پنهان و تعداد توکن‌های کش‌شده را در کنار نتایج یادداشت کنید.

ابزار پیمایش خود vLLM حافظه‌ی پنهان سرور را بین اجراهایش به طور خودکار بازنشانی می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا زمان به ازای هر توکن بین اجراهای پاک‌شده و پاک‌نشده تقریباً تغییر نکرد؟ پاسخ مورد انتظار: اصابت به کش بار پیش‌پرکنی را حذف می‌کند و بار رمزگشایی دست‌نخورده می‌ماند؛ در نتیجه TTFT سقوط می‌کند اما TPOT کمتر از 15 درصد تکان می‌خورد.
  • سطح 3: روی پردازنده‌ی GB10 یک اجرای تکی، زمان توکن اول را در سقف 32 کاربر سریع‌تر از سقف 8 کاربر گزارش داد. چنین چیزی چطور ممکن است؟ پاسخ مورد انتظار: این اجراها از یک سرور و یک سید مشترک استفاده می‌کردند؛ بنابراین اجرای 32 کاربر، 64 پرامپت از 128 پرامپت خود را از اجراهای قبلی در کش آماده داشت و نیمی از درخواست‌هایش از پیش‌پرکنی جهش کردند. سه سید مختلف روی سرورهای تازه ترتیب منطقی توکن اول را بازیابی کرد.
  • سطح 3: مسیر پاک‌سازی در SGLang خطای HTTP 400 بازگرداند. چه اتفاقی افتاده است؟ پاسخ مورد انتظار: سرور فقط زمانی حافظه را پاک می‌کند که درخواستی در حال اجرا یا در انتظار نباشد؛ هنوز درخواستی در جریان بود، بنابراین پاک‌سازی انجام نشد و لاگ سرور نیز همین را اعلام کرد، در نتیجه باید منتظر ماند یا سرور را ری‌استارت کرد.
  • سطح 4: چگونه اثر کش گرم (warm cache) را به شکلی هدفمند به بخشی از بنچمارک تبدیل می‌کنید؟ پاسخ مورد انتظار: آن را به عنوان یک محور مستقل بسنجید؛ توکن‌های کش‌شده در هر اجرا را از شمارنده‌ها یا فیلد گزارش پاسخ ثبت کنید و یک ردیف کش گرم را کنار یک ردیف کش سرد، هر کدام همراه با نرخ اصابت (hit rate) خود گزارش دهید، به جای اینکه اجازه دهید ترکیب نامعلومی از این دو، نقطه‌ی زانویی را تعیین کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «جهش از 0.3 به 1.8 ثانیه بین 16 و 32 کاربر، نقطه‌ی زانویی است.» آن پیمایش بدون بازنشانی کش اجرا شده بود، بنابراین بیشتر درخواست‌ها در ترافیک زیر 32 کاربر مرحله‌ی پیش‌پرکنی را دور زدند؛ با بازنشانی حافظه، P99 ITL بین 8 و 16 کاربر از حدود 70 به 522 میلی‌ثانیه جهش کرد و نقطه‌ی زانویی واقعی همین‌جاست.
  • «برای اجرای بنچمارک، حافظه‌ی پنهان پیشوند را خاموش کنید.» محیط عملیاتی با کش روشن کار می‌کند؛ در عوض، بین اجراها آن را بازنشانی کنید، برای هر اجرا سید جدیدی بگذارید و میزان توکن‌های کش‌شده را ثبت کنید.
  • «زمان به ازای هر توکن هم غیرواقعی شده است، پس باید کل پیمایش را دور ریخت.» اصابت به کش فقط کار پیش‌پرکنی را حذف می‌کند؛ زمان به ازای هر توکن بین اجراهای پاک‌شده و پاک‌نشده کمتر از 15 درصد تغییر کرد، بنابراین ستون TPOT معتبر است و فقط ستون TTFT اعتبار ندارد.
  • «مجموعه‌داده‌ی تصادفی در هر اجرا پرامپت‌های جدیدی می‌سازد.» با یک سید ثابت، کلاینت دقیقاً همان پرامپت‌ها را دوباره می‌فرستد؛ تصادفی بودن این مجموعه‌داده فقط در میان سیدهای مختلف رخ می‌دهد، پس در هر اجرا از سید جدیدی استفاده کنید.

کجای دوره آموزش داده می‌شود

بخش‌های سنجش کارایی سرور در 15 دقیقه و بخش بنچمارک SGLang اجراهای پاک‌شده و پاک‌نشده و پروتکل بازنشانی کش را نشان می‌دهند.