سؤال مصاحبه

دو نرخ اصابت کش از یک اسکرِیپ واحد

Two cache hit rates from one scrape

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یکی از قاب‌های داشبورد، نرخ اصابت کش پیشوند (prefix cache hit rate) یک سرور خودمیزبان را 94 درصد نشان می‌دهد. در همان دوره‌ی اجرا، شمارنده‌های سرور نشان می‌دهند که 104,057 توکن پرامپت را محاسبه کرده و 182,079 توکن را از کش خوانده است. هر دو عدد از یک بار اسکرِیپ (scrape) همان اندپوینت به دست آمده‌اند. برای تصمیم‌گیری درباره‌ی هزینه‌ها، به کدام عدد اعتماد می‌کنید و اصلاً چرا این دو با هم فرق دارند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به شمارنده‌ها (counters) اعتماد کنید. سنجه‌ی لحظه‌ای (gauge) نرخ اصابت را فقط برای آخرین بازه‌ی پیش‌پرکنی (prefill) که اسکژولر ثبت کرده نگه می‌دارد؛ در زمان بی‌باری (idle) نیز آخرین مقدار مربوط به دسته‌ی قبلی را حفظ می‌کند که در اینجا یک بنچمارک با پیشوند مشترک بوده است. در مقابل، شمارنده‌ها تمام توکن‌های پیش‌پرکنی را از زمان راه‌اندازی سرور جمع می‌زنند و نسبت این دو عدد در کل طول اجرا 0.636 است، نه 0.942. برای تصمیم‌گیری درباره‌ی هزینه‌ها، نرخ را بر اساس شمارنده‌ها و در یک بازه‌ی زمانی مشخص محاسبه کنید.

پاسخ کامل

سه نوع سری زمانی

یک سنجه‌ی لحظه‌ای یا گیج (gauge) مقداری است که اسکژولر در هر بازه‌ی لاگ‌گیری آن را بازنویسی می‌کند؛ در نتیجه در هر اسکرِیپ فقط جدیدترین مقدار را می‌بینید. یک شمارنده (counter) مقداری است که فقط افزایش می‌یابد و آن را به‌صورت نرخ (rate) در یک بازه‌ی زمانی می‌خوانید. یک هیستوگرام (histogram) مجموعه‌ای از چند شمارنده است (یک شمارنده به‌ازای هر باکت یا bucket) که صدک‌ها را در طول یک بازه‌ی زمانی از روی آن می‌خوانید.

ماجرای این دو نرخ اصابت

گیج، توکن‌های اصابت‌کرده در یک بازه‌ی لاگ‌گیری را بر مجموع توکن‌های اصابت‌کرده و توکن‌های محاسبه‌شده در همان بازه تقسیم می‌کند. وقتی هیچ درخواستی پردازش نمی‌شود، آخرین مقدارش را نگه می‌دارد. اما شمارنده‌ها همین دو مقدار را از زمان راه‌اندازی سرور نگه می‌دارند و آن‌ها را بر اساس حالت (mode) جدا می‌کنند: حالت input برای توکن‌های محاسبه‌شده، و حالت‌های device ،host و storage برای توکن‌های کش‌شده. در کل دوره‌ی اجرا، 182,079 توکن کش‌شده در برابر مجموعاً 286,136 توکن پیش‌پرکنی، نسبت 0.636 را می‌دهد. گیج عدد 0.942 را نشان می‌دهد چون آخرین چیزی که اجرا شده، بنچمارکی با پیشوند مشترک بوده است. هر دو عدد درست‌اند، اما به دو پرسش متفاوت پاسخ می‌دهند.

نرخ در بازه‌ی زمانی مشخص

متن راهنمای (HELP text) این شمارنده فرمول را آورده است و عبارت PromQL آن به این صورت خوانده می‌شود:

sum(rate(sglang:prefill_effective_tokens_total{mode=~".*_hit"}[5m]))
  / sum(rate(sglang:prefill_effective_tokens_total[5m]))

یک نکته در کد وجود دارد: حالت‌های اصابت (hit)، تعداد خام اصابت‌ها را جمع می‌زنند؛ بنابراین پس از پس‌زدن یا بازپس‌گیری درخواست (retraction)، ممکن است توکن‌های یکسان دو بار شمرده شوند. اما حالت input دوباره‌شماری را لحاظ نمی‌کند. اجرای ثبت‌شده در راهنما هیچ بازپس‌گیری درخواستی نداشته، بنابراین عددهایش کاملاً دقیق‌اند.

چرا این یک مسئله‌ی هزینه‌ای است؟

نرخ اصابت تعیین می‌کند که آیا باید ساختار پرامپت‌ها را تغییر دهید، یک مسیریاب آگاه به کش (cache-aware router) اضافه کنید یا حافظه‌ی بیشتری بخرید. گیج بر اساس آخرین بنچمارک می‌گوید وضعیت پرامپت‌ها خوب است. اما شمارنده‌ها می‌گویند بیش از یک‌سوم توکن‌های پرامپت در کل اجرا محاسبه شده‌اند. درس اقتصاد کش‌گذاری هم دقیقاً همین نکته را برای کش‌های ارائه‌دهندگان می‌گوید: نرخ اصابت اختصاصی‌تان را از فیلدهای usage در هر پاسخ اندازه بگیرید و رقمی را که دیگران منتشر کرده‌اند، ملاک کار خود نگذارید.

روی چه چیزهایی هشدار بگذاریم؟

روی شمارنده‌ها و هیستوگرام‌ها در یک بازه‌ی زمانی هشدار (alert) بگذارید. روی گیج فقط زمانی هشدار بگذارید که وضعیت چند دقیقه طول بکشد؛ مثل مواردی که تعداد درخواست‌های درون صف بالاتر از صفر بماند یا مصرف توکن به یک نزدیک شود. پیش از آنکه قابی بر اساس یک متریک بسازید، متن HELP و کد آن را بخوانید. در راهنما مشخص شد یکی از گیج‌های میزان بهره‌برداری (utilization) در نسخه‌ی پین‌شده همیشه روی صفر می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: گیج و شمارنده هر کدام به چه پرسشی پاسخ می‌دهند؟ پاسخ مورد انتظار: گیج نشان می‌دهد در آخرین بازه چه اتفاقی افتاده است. شمارنده نشان می‌دهد از زمان شروع در مجموع چه اتفاقی افتاده، و نرخ آن در یک بازه‌ی زمانی، روند را مشخص می‌کند.
  • سطح 3: چرا نرخ مبتنی بر شمارنده ممکن است پس از بازپس‌گیری درخواست‌ها (retractions)، اصابت‌ها را بیشتر از واقعیت نشان دهد؟ پاسخ مورد انتظار: حالت‌های اصابت تعداد خام را جمع می‌زنند؛ بنابراین درخواستی که بازپس‌گرفته شده و دوباره اجرا می‌شود، توکن‌های کش‌شده‌اش دو بار شمرده می‌شوند، در حالی که حالت input دوباره‌شماری را کنار می‌گذارد.
  • سطح 3: کدام گیج‌ها مجازند شما را پیج کنند و طبق چه قاعده‌ای؟ پاسخ مورد انتظار: درخواست‌های درون صفِ بالاتر از صفر و مصرف توکنِ نزدیک به یک، آن هم صرفاً زمانی که وضعیت چند دقیقه ادامه داشته باشد، نه هرگز با یک اسکرِیپ تکی.
  • سطح 4: در زمان قطعی، قابی روی این سرور میزان بهره‌برداری را صفر نشان می‌دهد. چرا؟ پاسخ مورد انتظار: آن گیج در نسخه‌ی پین‌شده به دلیل یک رگرسیون (regression) شناخته‌شده همیشه روی صفر می‌ماند؛ در نتیجه قاب، کل ناوگان را بیکار نشان می‌دهد. همیشه پیش از استفاده از یک متریک، متن HELP و کد آن را بخوانید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «گیج چون تازه‌ترین مقدار را نشان می‌دهد، پس دقیق‌ترین است.» گیج یک اسنپ‌شات از یک بازه است و در زمان بیکاری سرور نیز آخرین مقدارش را نگه می‌دارد.
  • «میانگین دو عدد را بگیرید.» این دو عدد به پرسش‌های متفاوتی پاسخ می‌دهند و شمارنده‌ها از قبل کل دوره‌ی اجرا را در خود دارند.
  • «نرخ واقعی پایین‌تر است، پس کش را خاموش کنید.» نرخ 0.636 یعنی یک‌سوم توکن‌های پرامپت محاسبه شده‌اند. راه‌حل در چیدمان پرامپت یا مسیریابی است، نه در خاموش کردن کش.

کجای دوره آموزش داده می‌شود

در بخش اندپوینت متریک‌های SGLang 101 دو نرخ اصابت روی یک سرور اندازه‌گیری می‌شوند، و درس اقتصاد کش‌گذاری به شما می‌گوید که نرخ را از روی فیلدهای usage خودتان محاسبه کنید.