سؤال مصاحبه

صفر شدن توکن‌های کش‌شده با وجود ثابت بودن قالب

Cached tokens at zero with a stable template

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

تیمی نشست‌های طولانی ایجنت (Agent) را روی SGLang با کش سلسله‌مراتبی (hierarchical) روشن اجرا می‌کند. داشبوردهای آن‌ها روی درخواست‌هایی که تاریخچه‌ای طولانی را دوباره می‌فرستند، مقدار #cached-token: 0 را نشان می‌دهند. آن‌ها لایه‌های کش و سیاست نوشتن را بهینه‌سازی کرده‌اند، اما نرخ اصابت (Hit Rate) تقریباً تکان نمی‌خورد. قالب پرامپت (Prompt template) از نظر آن‌ها پایدار به نظر می‌رسد. اول کجا را بررسی می‌کنید و انتظار دارید چه چیزی پیدا کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به اولین توکن‌های درخواست نگاه کنید؛ همان‌طور که سرور آن‌ها را می‌بیند، نه به قالب پرامپت. یک رله یا یک الگوی چت (chat template) اغلب چیزی را که در هر درخواست تغییر می‌کند نزدیک به ابتدای پرامپت اضافه می‌کند؛ مواردی مانند شناسه درخواست (request ID)، هش نشست (Session) یا تاریخ. درخت کش تطبیق را از اولین توکن شروع می‌کند و با رسیدن به اولین تفاوت متوقف می‌شود. در حادثه‌ی گزارش‌شده در مستندات، وجود یک هش تصادفی در پرامپت سیستمی (System Message) 27.6 واحد درصد از نرخ اصابت را سوزاند، و حذف آن نرخ اصابت موتور را از 66.8 به 94.4 درصد رساند.

پاسخ کامل

بازتولید مسئله با یک شناسه در سه جایگاه مختلف

مجموعه‌ابزار ثبت مستندات، یک پرامپت سیستمی 2,999 توکنی و یک پرسش کوتاه را در سه شکل مختلف، هر کدام پنج بار و با فلگ فعال --enable-cache-report ارسال می‌کند تا هر پاسخ تعداد توکن‌های کش‌شده‌ی خود را گزارش دهد:

شکل ارسال توکن‌های کش‌شده توکن‌های پرامپت میانه TTFT
پرامپت سیستمی پایدار 2,998 2,999 45.1 ms
شناسه تصادفی در ابتدا 5 3,034 1,255.3 ms
همان شناسه در انتها 2,985 3,028 88.2 ms

قرار گرفتن شناسه در ابتدا، زمان رسیدن به اولین توکن (TTFT) را 28 برابر کندتر کرد. وجود شناسه در انتها فقط 43 ms هزینه داشت. توکن‌ها در هر سه شکل تقریباً یکسان هستند؛ فقط ترتیب آن‌ها فرق می‌کند. شناسه در ابتدا فقط با 5 توکنِ پیش از ارقام هگزادسیمال تصادفی تطبیق پیدا کرد و بعد از آن‌ها با هیچ چیزی مطابقت نیافت.

چرا هیچ چیز بعد از یک تغییر نمی‌تواند تطبیق پیدا کند؟

مقادیر اتنشن (Attention) هر توکنِ بعدی به تک‌تک توکن‌های پیش از خود وابسته است. کِشی که توکن‌های بعدی را دوباره استفاده کند، پاسخ‌های نادرست برمی‌گرداند. بنابراین ساختار درخت دقیق است؛ تغییری در پرامپت سیستمی همه‌چیز را بعد از خود باطل می‌کند، در حالی که تغییر در جدیدترین پیام فقط همان پیام را بی‌اعتبار می‌سازد.

حادثه‌ای که پشت این پرسش بود

گزارش‌دهنده سه علت روی‌هم‌انباشته پیدا کرد:

  1. رله یک هش تصادفی به ازای هر نشست و یک پیام سیستمی چرخشی را داخل هر درخواست می‌گذاشت. حذف آن‌ها نرخ اصابت موتور را از 66.8 به 94.4 درصد رساند.
  2. کلاینت، اسنپ‌شات (Snapshot) فهرست وظایف (Task) خود را در انتهای پرامپت سیستمی می‌نوشت. هر به‌روزرسانی وظیفه، پرامپت سیستمی را تغییر می‌داد و بیش از 100,000 توکنِ تاریخچه‌ی پشت سر آن را باطل می‌کرد.
  3. بارگذاری دوباره‌ی کش سلسله‌مراتبی (load-back) وقتی جایی پیدا نمی‌کرد، پیشوندهای نشست‌های دیگر را بیرون می‌انداخت (evict می‌کرد). گزارش‌دهنده 250,000 فراخوانی خروج را در برابر 376 بارگذاری مجدد تکمیل‌شده ثبت کرد.

اولین راه‌حل، ویرایش پرامپت بود. هیچ فلگ تنظیمی در کش نمی‌توانست آن 27.6 درصدی را که هش از بین برده بود برگرداند. درس مربوطه همین داستان را از استقرار دیگری در محیط عملیاتی (Production) نقل می‌کند؛ جایی که بیرون بردن محتوای پویا از پیشوند قابل‌کش، نرخ اصابت را از 7 به 74 درصد رساند.

ترتیب بررسی‌ها

  1. توالی دقیق توکن‌های دو درخواست متوالی را استخراج و آن‌ها را از اولین توکن مقایسه کنید. مواردی را که رله و الگوی چت اضافه می‌کنند نیز در نظر بگیرید.
  2. مقدار cached_tokens را در بلوک usage با فلگ --enable-cache-report یا در meta_info مسیر بومی /generate بخوانید.
  3. مقادیر #new-token و #cached-token را در خطوط Prefill batch بخوانید.
  4. مقدار sglang:cache_hit_rate را از /metrics بخوانید.
  5. در صورت وجود چند سرور، مسیریابی (Routing) را بررسی کنید. درخواستی که روی سروری بدون پیشوند متناظرش بیفتد، صرف‌نظر از شکل ظاهری پرامپت، کش را از دست می‌دهد (miss می‌خورد). در یک گزارش، با مسیریابی هر گفت‌وگو به همان سرور قبلی، نرخ اصابت از 64.7 به 92.1 درصد رسید.

دو تنظیم سرور شبیه به مشکلات پرامپت به نظر می‌رسند. درخواست برای لگاریتم احتمالات پرامپت از موقعیت k فقط می‌تواند k توکن اول را دوباره استفاده کند. تطبیق‌دهنده‌های (Adapter) مختلف LoRA هم هرگز گره‌های درخت را به اشتراک نمی‌گذارند، چون تطبیق‌دهنده بخشی از کلید درخت است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: همان شناسه‌ی تصادفی به پشت متن ثابت منتقل می‌شود. حالا چقدر هزینه دارد؟ انتظار می‌رود: حدود 45 توکنِ پیش‌پرکنی (prefill) به جای حدود 3,027 توکن؛ در آزمایش این مقدار فقط 43 ms بیشتر از پرامپت پایدار بود، نه 28 برابر طولانی‌تر.
  • سطح 3: بعد از اصلاح پرامپت، یک سرور به خوبی اصابت کش دارد ولی کل ناوگان همچنان miss می‌خورد. گام بعدی چیست؟ انتظار می‌رود: بررسی مسیریابی؛ درخواستی که به سروری بدون پیشوند خودش هدایت شود کش را از دست می‌دهد، و هدایت هر گفت‌وگو به همان سرور، در یک گزارش نرخ را از 64.7 به 92.1 درصد رساند.
  • سطح 4: لایه‌ی میزبان (host tier) حتی بعد از اصلاح پرامپت همچنان به نشست‌های دیگر ضربه می‌زند. گزارش حادثه چه آماری را ثبت کرده بود و معنای آن چیست؟ انتظار می‌رود: 250,000 فراخوانی خروج در برابر 376 بارگذاری دوباره‌ی تکمیل‌شده؛ بارگذاری دوباره‌ای که فضا پیدا نکند، بقیه‌ی نشست‌ها را از استخر GPU بیرون می‌اندازد؛ بنابراین بررسی اندازه‌ی استخر و سیاست نوشتن تنها پس از اصلاح پرامپت ضرورت دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نسبت کش سلسله‌مراتبی را آن‌قدر بالا ببرید تا نرخ اصابت جبران شود.» هیچ فلگ کشی نمی‌تواند miss شدنی را که از توکن 5 شروع می‌شود جبران کند؛ اولین اصلاحیه، ویرایش متن پرامپت بود که 27.6 درصد نرخ اصابت به همراه داشت.
  • «قالب پایدار است، پس پرامپت هم پایدار است.» قالب پرامپت آن چیزی نیست که سرور می‌بیند؛ یک رله، درگاه (gateway) یا الگوی چت می‌تواند یک هش، تاریخ یا اسنپ‌شات اضافه کند؛ بنابراین توالی توکن‌های دو درخواست متوالی را از ابتدا با هم مقایسه کنید.
  • «یک فیلد تغییریافته در وسط فقط به اندازه‌ی توکن‌های همان فیلد هزینه دارد.» هر توکنِ بعد از تغییر، یک branch متفاوت در درخت است؛ چون مقادیر اتنشنِ توکن‌های بعدی به تک‌تک توکن‌های پیشین بستگی دارد.

کجای دوره آموزش داده می‌شود

بخش پرامپت‌های سازگار با پیشوند آزمایش سه حالته و حادثه را پوشش می‌دهد، و درس RadixAttention قاعده‌ی ترتیب توکن‌ها را بیان می‌کند.