سؤال مصاحبه

انتخاب طول عمر کش برای یک دسته‌ی بازبینی کد

Pick the cache lifetime for a batch of code reviews

  • سطح ۳: ارشد
  • تخمین
  • ۱۰ دقیقه

جاب دسته‌ای (batch job) شما شیوه‌نامه‌ی نمره‌دهی (rubric) یکسانی با حجم 15,000 توکن را همراه هر یک از 20 بازبینی کد ارسال می‌کند. این درخواست‌ها در طول 40 دقیقه و در قالب خوشه‌هایی ناهمگون پخش شده‌اند و فاصله‌ی زمانیِ خلوتِ میان برخی از این خوشه‌ها، از طول عمر کش کوتاه‌مدت بیشتر است. سرویس‌دهنده هزینه‌ی نوشتن در کش پنج‌دقیقه‌ای را 1.25 برابر و در کش یک‌ساعته را 2 برابر نرخ ورودی عادی محاسبه می‌کند؛ همچنین هزینه‌ی خواندن از کش (cache read) را یک‌دهم نرخ ورودی در نظر می‌گیرد. کدام کش را انتخاب می‌کنید؟ نقطه‌ی سربه‌سر (break-even) را نشان دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کش پنج‌دقیقه‌ای در همان اولین خواندن، هزینه‌ی خودش را جبران می‌کند: نوشتن 1.25 برابر و خواندن 0.1 برابر نرخ ورودی عادی هزینه دارد؛ بنابراین میانگین هزینه‌ی یک بار نوشتن به‌اضافه‌ی یک بار خواندن 0.675 برابر می‌شود که به معنای 32 درصد صرفه‌جویی است. همچنین میانگین یک بار نوشتن به‌اضافه‌ی ده بار خواندن به 0.205 برابر می‌رسد (80 درصد صرفه‌جویی). هر خواندن، طول عمر پنج‌دقیقه‌ای کش را تمدید می‌کند؛ پس کش پنج‌دقیقه‌ای تنها زمانی منقضی می‌شود که فاصله‌ی میان دو درخواست بیش از پنج دقیقه طول بکشد. این دسته شامل چنین فاصله‌هایی است، بنابراین کش یک‌ساعته گزینه‌ی مناسب‌تری است؛ نوشتن در آن 2 برابر نرخ ورودی تمام می‌شود و تنها به دو بار خواندن نیاز دارد تا سودآور شود، در حالی که 20 بازبینی بسیار بیشتر از این تعداد خواندن ایجاد می‌کنند. قاعده‌ی سرانگشتی این است: هر چیزی را که حداقل سه بار در طول عمر کش دوباره استفاده می‌شود، کش کنید.

پاسخ کامل

محاسبات ریاضی

حالت هزینه‌ی هر درخواست در مقایسه با حالت بدون کش
یک بار نوشتن، کش پنج‌دقیقه‌ای 1.25
یک بار خواندن 0.1
یک بار نوشتن به‌اضافه‌ی یک بار خواندن، میانگین 0.675، یعنی 32 درصد صرفه‌جویی
یک بار نوشتن به‌اضافه‌ی ده بار خواندن، میانگین 0.205، یعنی 80 درصد صرفه‌جویی
یک بار نوشتن، کش یک‌ساعته 2، پس با دو بار خواندن سربه‌سر می‌شود

طول عمر کش تعیین‌کننده است

هر خواندن، طول عمر پنج‌دقیقه‌ای کش را تمدید می‌کند. اگر بازبینی‌ها در طول 40 دقیقه با جریانی یکنواخت برسند و تمام فاصله‌های زمانی زیر پنج دقیقه بمانند، داده‌ی کش‌شده هرگز منقضی نمی‌شود و کش پنج‌دقیقه‌ای به‌خاطر هزینه‌ی نوشتن ارزان‌تر برنده است. اما اگر برخی از این فاصله‌ها بیش از پنج دقیقه طول بکشند (مانند سناریوی این دسته)، در هر بار انقضا باید هزینه‌ی اضافی یک نوشتنِ جدید را پرداخت کنید؛ در این وضعیت کش یک‌ساعته کل دسته را تنها با یک بار نوشتن زنده نگه می‌دارد. برعکس، اگر بازبینی‌ها به‌صورت انفجاری شامل چند درخواست در کمتر از یک دقیقه بیایند و سپس سیستم یک ساعت بی‌کار بماند، هر موج انفجاری درون کش پنج‌دقیقه‌ای جا می‌گیرد و گزینه‌ی ارزان‌تر برنده است. کش را بر اساس فاصله‌ی زمانی میان درخواست‌ها انتخاب کنید، نه بر اساس تعداد کل درخواست‌ها.

اثبات در داده‌های پاسخ

فیلدهای میزان مصرف (usage) را بررسی کنید: در این درس، اولین درخواست گزارش می‌دهد که 15,023 توکن با ضریب 1.25 نوشته شده‌اند و دومین درخواست گزارش می‌دهد که همین تعداد توکن با ضریب 0.1 خوانده شده و هیچ توکنی نوشته نشده است. در محیط عملیاتی (production)، استقرار سیستم را مشروط به این کنید که سهم خواندن از کش پس از مرحله‌ی گرم‌کردن (warmup) بالای 80 درصد باشد؛ همچنین داشبورد هزینه‌ها را به دو بخش توکن‌های کش‌شده و کش‌نشده تقسیم کنید.

مدل‌های دیگر ارائه‌دهندگان

سرویس‌دهنده‌ای که کش خودکار دارد، 50 درصد تخفیف روی خواندن می‌دهد بدون اینکه هیچ هزینه‌ی اضافی برای نوشتن بگیرد؛ این کش تا یک ساعت به‌صورت بهترین تلاش (best-effort basis) حفظ می‌شود، پس تنها وظیفه‌ی شما حفظ یک پیشوند ثابت است. آبجکت کش صریح در سرویس‌دهنده‌ی سوم بر اساس فضای ذخیره‌سازی قیمت‌گذاری می‌شود و هزینه‌ی خواندن آن حدود 25 درصد نرخ ورودی است؛ این رویکرد برای استفاده‌ی مجدد از یک پرامپت بسیار بزرگ در طول چند روز مناسب است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا کش پنج‌دقیقه‌ای در همان اولین خواندن به نقطه‌ی سربه‌سر می‌رسد؟ پاسخ مورد انتظار: نوشتن 1.25 برابر و خواندن 0.1 برابر هزینه دارد؛ بنابراین میانگین دو درخواست برابر با 0.675 هزینه‌ی حالت بدون کش خواهد بود.
  • سطح 3: کش یک‌ساعته به چه تعداد خواندن نیاز دارد تا به‌صرفه شود؟ پاسخ مورد انتظار: دو بار خواندن، چون هزینه‌ی نوشتن آن 2 برابر نرخ ورودی است.
  • سطح 4: بازبینی‌ها به‌شکل چند درخواستِ رگباری در یک دقیقه می‌رسند و سپس سیستم به مدت یک ساعت کاملاً بی‌کار می‌شود. آیا پاسخ تغییر می‌کند؟ پاسخ مورد انتظار: بله؛ هر رگبار درخواست درون کش پنج‌دقیقه‌ای پوشش داده می‌شود، بنابراین هزینه‌ی نوشتن ارزان‌تر برنده است؛ استفاده از کش یک‌ساعته باعث می‌شود هزینه‌ی نوشتن 2 برابری را برای استفاده‌ی مجددی بدهید که هرگز رخ نمی‌دهد.
  • سطح 4: چگونه میزان صرفه‌جویی را به‌جای روی کاغذ، در محیط عملیاتی ارزیابی می‌کنید؟ پاسخ مورد انتظار: فیلدهای توکن‌های ایجاد کش و خواندن از کش را در پاسخ هر درخواست بررسی کنید، استقرار را مشروط به سهم خواندنِ بالای 80 درصد پس از گرم‌کردن کنید و داشبورد را به توکن‌های کش‌شده و کش‌نشده تقسیم نمایید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای احتیاط همیشه کش طولانی‌تر را انتخاب کنید.» هزینه‌ی نوشتن آن 2 برابر نرخ ورودی است در حالی که کش کوتاه 1.25 برابر است؛ اگر استفاده‌ی مجدد درون پنج دقیقه رخ دهد، کش کوتاه‌تر ارزان‌تر تمام می‌شود.
  • «هزینه‌ی اضافی نوشتن باعث می‌شود کش کردن برای جاب‌های کوتاه با زیان همراه باشد.» یک بار نوشتن به‌اضافه‌ی یک بار خواندن در کش پنج‌دقیقه‌ای، از همان ابتدا 32 درصد صرفه‌جویی ایجاد می‌کند.
  • «پیام کاربر را هم کش کنید.» این پیام در هر درخواست تغییر می‌کند، پس هرگز هیت (hit) نمی‌شود؛ ساختار چیدمان باید طوری باشد که این پیام بعد از نقطه‌ی شکست کش قرار بگیرد.

کجای دوره آموزش داده می‌شود

درس کش کردن پرامپت جدول ارائه‌دهندگان، محاسبات نقطه‌ی سربه‌سر و فیلدهای مصرف را ارائه می‌دهد.