سؤال مصاحبه

پیشوند کش‌شده به چند بار خواندن نیاز دارد تا به‌صرفه شود؟

How many reads a cached prefix needs to pay off

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

سرویس‌دهنده‌ی شما برای نوشتن پیشوند در کش (cache write)، 25 درصد هزینه‌ی اضافی دریافت می‌کند و هزینه‌ی خواندن از کش (cache read) را معادل یک‌دهم قیمت ورودی عادی حساب می‌کند. عمر این کش 5 دقیقه است. نسخه‌ی یک‌ساعته‌ی آن برای نوشتن، 2 برابر قیمت ورودی عادی هزینه برمی‌دارد. هر کدام از این نسخه‌ها به چند بار خواندن نیاز دارند تا هزینه‌شان جبران شود و چه قانونی برای تیم تعیین می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در کش 5 دقیقه‌ای، میانگین هزینه‌ی یک نوشتن و یک خواندن به ازای هر درخواست، 0.675 هزینه‌ی عادی است؛ یعنی حدود 32 درصد صرفه‌جویی. بنابراین کش در همان اولین خواندن به‌صرفه می‌شود. یک نوشتن و 10 بار خواندن به‌طور میانگین به 0.205 می‌رسد که یعنی حدود 80 درصد صرفه‌جویی. کش یک‌ساعته برای نوشتن هزینه‌ی 2 برابری می‌گیرد؛ بنابراین این بلوک قبل از اینکه سودده شود به دو بار خواندن نیاز دارد. قانون پیشنهادی: هر چیزی را که انتظار دارید در طول عمرش حداقل 3 بار دوباره استفاده شود، کش کنید.

پاسخ کامل

محاسبات عددی

یک نوشتن 1.25 برابر قیمت ورودی عادی هزینه دارد و هر خواندن 0.1 آن قیمت است.

  • یک نوشتن و یک خواندن: میانگین این دو درخواست 0.675 قیمت عادی است. یعنی در همان خواندن اول، 32 درصد صرفه‌جویی می‌شود.
  • یک نوشتن و 10 بار خواندن: میانگین درخواست‌ها به 0.205 قیمت عادی می‌رسد؛ یعنی حدود 80 درصد صرفه‌جویی.
  • کش یک‌ساعته با هزینه‌ی 2 برابر قیمت عادی می‌نویسد. با یک بار خواندن، میانگین بالاتر از قیمت عادی می‌ماند و با دو بار خواندن به زیر آن می‌رسد. در درس اشاره شده که بلوک یک‌ساعته در هر دسته‌ای (batch) که پیشوند را بیش از 5 بار دوباره استفاده کند، خیلی سریع هزینه‌اش را جبران می‌کند.

3 بار استفاده‌ی مجدد در طول مدت عمر کش، در هر دو نسخه از نقطه‌ی سر‌به‌سر رد می‌شود و این همان قانونی است که درس ارائه می‌دهد.

چه چیزهایی این محاسبات را به‌هم می‌زند؟

  • پیشوندی که در هر درخواست به اندازه‌ی یک توکن تفاوت دارد؛ به خاطر برچسب زمان (timestamp)، شناسه‌ی درخواست یا تغییر در چیدمان فهرست ابزارها. در این حالت هر درخواست در کش می‌نویسد و هیچ‌کدام از کش نمی‌خواند.
  • بلوکی که اندازه‌اش کمتر از حداقل اندازه‌ی قابل‌کش‌شدن باشد؛ که در سرویس‌دهنده‌ی این درس 1,024 توکن است. بلوک کوچک‌تر در سکوت و بدون هیچ خطایی کش نمی‌شود.
  • درخواست‌هایی که قبل از تمام شدن اولین نوشتن، به‌صورت موازی می‌رسند. تک‌تک آن‌ها هزینه‌ی اضافیِ نوشتن را می‌پردازند و هیچ‌کدام از کش نمی‌خواند.

راستی‌آزمایی آن

فیلدهای مربوط به مصرف (usage) را در هر پاسخ بررسی کنید: توکن‌های نوشته‌شده در کش و توکن‌های خوانده‌شده از آن. در CI، شرط بگذارید (assert کنید) که دومین درخواستِ کاملاً مشابه، بیشتر از صفر توکن از کش بخواند. در داشبورد، توکن‌های ورودی را به دو بخش کش‌شده و کش‌نشده تفکیک کنید؛ وگرنه افت ترافیک شبیه به موفقیت کش به نظر خواهد رسید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا کش 5 دقیقه‌ای در همان خواندن اول به‌صرفه می‌شود؟ پاسخ مورد انتظار: هزینه‌ی اضافی نوشتن یک‌چهارم است و خواندن نه‌دهم صرفه‌جویی می‌کند؛ بنابراین میانگین این دو با هم از همان ابتدا کمتر از قیمت عادی می‌شود.
  • سطح 2: چه زمانی کش یک‌ساعته منطقی است؟ پاسخ مورد انتظار: در یک کار دسته‌ای (batch job) که بیش از 5 بار و با فاصله‌های بیشتر از 5 دقیقه، پیشوند را دوباره استفاده می‌کند.
  • سطح 3: توکن‌های ورودی کم شده‌اند ولی صورت‌حساب تغییری نکرده است. داشبورد چه مشکلی دارد؟ پاسخ مورد انتظار: ورودی‌های کش‌شده را از کش‌نشده جدا نکرده است؛ بنابراین کاهش ترافیک شبیه به موفقیت کش دیده می‌شود.
  • سطح 3: 10 درخواست موازی پیشوندی مشترک دارند که هنوز کش نشده است. چه بر سر محاسبات می‌آید؟ پاسخ مورد انتظار: هر 10 درخواست هزینه‌ی اضافیِ نوشتن را می‌دهند و هیچ‌کدام از کش نمی‌خواند؛ در نتیجه هزینه‌ی کش از حالت بدون کش بیشتر می‌شود. اول یک درخواست بفرستید، سپس بقیه را ارسال کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کش کردن همیشه باعث صرفه‌جویی در هزینه می‌شود.» پیشوندی که یک بار نوشته شود و هرگز خوانده نشود، 25 درصد گران‌تر از حالت بدون کش تمام می‌شود.
  • «کش یک‌ساعته را انتخاب کنید، چون بیشتر دوام می‌آورد.» نوشتن در آن 2 برابر قیمت ورودی عادی هزینه دارد؛ بنابراین بلوکی که فقط یک بار خوانده شود گران‌تر از حالت بدون کش خواهد بود.
  • «کل پرامپت را به عنوان قابل‌کش‌شدن علامت بزنید.» پیام کاربر هر بار تغییر می‌کند، بنابراین تطابق کش در اولین توکنِ متفاوت متوقف می‌شود؛ ضمن اینکه بلوکِ کوچک‌تر از حداقل اندازه اصلاً کش نخواهد شد.

کجای دوره آموزش داده می‌شود

درس کش کردن پرامپت محاسبات نقطه‌ی سر‌به‌سر و فیلدهای راستی‌آزمایی را توضیح می‌دهد و درس اقتصاد کش تله‌ی نوشتن‌های موازی را نام می‌برد.