سؤال مصاحبه

بررسی کَش تطابق دقیق پیش از استقرار در محیط عملیاتی

Read the exact-match cache before it ships

  • سطح ۲: میانی
  • کدخوانی
  • ۱۰ دقیقه

این کَش تطابق دقیق (exact-match) را از درس کَشینگ بررسی کنید. چرا این کَش تمام درخواست‌های با دمای (temperature) مثبت را رد می‌کند؟ چه مواردی وارد کلید می‌شوند و به چه علت؟ و پیش از اجرای آن در محیط عملیاتی (production) چه تغییراتی در آن اعمال می‌کنید؟

class ExactCache:
    def __init__(self, max_size=1000, ttl_seconds=3600):
        self.cache = {}
        self.max_size = max_size
        self.ttl = ttl_seconds
        self.hits = 0
        self.misses = 0

    def _hash(self, model, messages, temperature):
        key_data = json.dumps({"model": model, "messages": messages, "temperature": temperature}, sort_keys=True)
        return hashlib.sha256(key_data.encode()).hexdigest()

    def get(self, model, messages, temperature=0.0):
        if temperature > 0:
            self.misses += 1
            return None
        key = self._hash(model, messages, temperature)
        if key in self.cache:
            entry = self.cache[key]
            if time.time() - entry["timestamp"] < self.ttl:
                self.hits += 1
                entry["access_count"] += 1
                return entry["response"]
            del self.cache[key]
        self.misses += 1
        return None

    def put(self, model, messages, temperature, response):
        if temperature > 0:
            return
        if len(self.cache) >= self.max_size:
            oldest_key = min(self.cache, key=lambda k: self.cache[k]["timestamp"])
            del self.cache[oldest_key]
        key = self._hash(model, messages, temperature)
        self.cache[key] = {"response": response, "timestamp": time.time(), "access_count": 1}

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این کَش فقط به فراخوانی‌های قطعی (deterministic) پاسخ می‌دهد. دمای مثبت به‌معنای درخواست تنوع در نمونه‌برداری است، و بازپخش (replay) یک پاسخ ذخیره‌شده، این تنوع را بدون اطلاع فراخواننده از بین می‌برد؛ بنابراین کَش با این درخواست‌ها مثل عدم اصابت (miss) برخورد کرده و هرگز آن‌ها را ذخیره نمی‌کند. کلید، هشی از مدل، فهرست کامل پیام‌ها و دما است که با کلیدهای مرتب‌شده سریال‌سازی می‌شود تا یک درخواست یکسان همیشه بایت‌های یکسانی تولید کند. پیش از ورود به محیط عملیاتی، کلید به تمام فیلدهای دیگری نیاز دارد که پاسخ را تغییر می‌دهند؛ سازوکار خروج داده‌ها (eviction) به‌جای پیمایش کامل برای یافتن قدیمی‌ترین مورد، به سیاست کمترین استفاده‌ی اخیر (least-recently-used یا LRU) نیاز دارد؛ و سازوکار انقضا نیز نیازمند پاک‌سازی دوره‌ای است، چون ورودی منقضی‌شده فقط زمانی حذف می‌شود که کسی آن را بخواند.

پاسخ کامل

محافظ دما

متدهای get و put هر دو برای مقادیر بالای صفر بلافاصله برمی‌گردند. قاعده‌ی این درس این است که کَشینگ دقیق فقط برای فراخوانی‌های قطعی کاربرد دارد: همان مدل، همان پرامپت (prompt) و دمای صفر. تحویل یک نمونه‌ی ذخیره‌شده به کاربری که خواهان تنوع بوده، رفتار سیستم را در سکوت تغییر می‌دهد؛ که این اتفاق حتی از عدم اصابت هم بدتر است.

آنچه در کلید قرار دارد و آنچه جا مانده است

کلید شامل مدل است، چون همان پرامپت روی مدلی دیگر پاسخ متفاوتی دارد؛ شامل کل فهرست پیام‌ها است، چون پرامپت سیستم و بافتار (context) بخشی از درخواست هستند؛ و همچنین شامل دما می‌شود. مقدار sort_keys=True سریال‌سازی را پایدار می‌کند؛ بنابراین اگر دو فراخواننده دیکشنری یکسانی را با ترتیب متفاوتی بسازند، باز هم هش یکسانی تولید خواهد شد. کلید فیلدهای دیگری را که پاسخ را تغییر می‌دهند پوشش نمی‌دهد: سایر پارامترهای نمونه‌برداری به‌جز دما، سقف خروجی، تعریف‌های ابزار (tool definitions) و قالب پاسخ. این موارد را اضافه کنید، وگرنه کَش پاسخی را بازمی‌گرداند که تحت تنظیمات متفاوتی تولید شده است.

انقضای تنبل

مدت‌زمان اعتبار هنگام خواندن بررسی می‌شود. ورودی‌ای که عمر مفیدش تمام شده در حافظه باقی می‌ماند تا زمانی که یک عملیات خواندن پیدایش کند یا فرآیند خروج داده‌ها حذفش نماید. یک پاک‌سازی دوره‌ای یا بررسی انقضا هنگام اجرای put، وضعیت حافظه را سالم نگه می‌دارد.

خروج داده‌ها با پیمایش کامل و بر اساس قدیمی‌ترین مورد است

در حداکثر ظرفیت، متد put تمام ورودی‌ها را پیمایش می‌کند تا قدیمی‌ترین برچسب زمانی را بیابد. پس از پر شدن کَش، این یعنی یک کار خطی در هر بار درج؛ علاوه بر این، خروج داده‌ها بر اساس زمان درج انجام می‌شود، بنابراین ورودی پرکاربردی که زودتر درج شده زودتر هم حذف خواهد شد. تمرین اول درس، خروج بر اساس کمترین استفاده‌ی اخیر را بر پایه‌ی آخرین زمان دسترسی می‌خواهد؛ فیلد access_count به این موضوع اشاره دارد اما آن را پیاده‌سازی نمی‌کند.

اثبات به‌صرفه بودن آن

این کَش تعداد اصابت‌ها (hits) و عدم اصابت‌ها را می‌شمارد. ردیاب هزینه‌ی این درس وضعیت کَش را در هر فراخوانی ثبت می‌کند و هزینه‌ی صرفه‌جویی‌شده از محل اصابت‌ها را با استفاده از جدول قیمت‌گذاری به‌دست می‌آورد. پیش از آنکه درباره‌ی نرخ اصابت (hit rate) بحث کنید، این سازوکار را متصل کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا سریال‌سازی با کلیدهای مرتب‌شده انجام می‌شود؟ انتظار می‌رود: ترتیب کلیدهای یک دیکشنری ممکن است بین فراخواننده‌ها متفاوت باشد، و ترتیب متفاوت بایت‌ها برای یک درخواست یکسان، هش متفاوتی تولید می‌کند.
  • سطح 3: چه فیلدهایی از درخواست در کلید جا افتاده‌اند؟ انتظار می‌رود: هر چیز دیگری که پاسخ را تغییر می‌دهد؛ مانند سایر پارامترهای نمونه‌برداری، سقف خروجی، تعریف‌های ابزار و قالب پاسخ.
  • سطح 3: سازوکار خروج داده‌ها در زمان تکمیل ظرفیت چه کار می‌کند و در تمرین چه چیزی به‌جای آن خواسته شده است؟ انتظار می‌رود: تمام ورودی‌ها را برای یافتن قدیمی‌ترین برچسب زمانی پیمایش کرده و آن را حذف می‌کند. تمرین، خروج بر اساس کمترین استفاده‌ی اخیر را بر پایه‌ی آخرین زمان دسترسی می‌خواهد.
  • سطح 4: چگونه نشان می‌دهید که این کَش ارزش هزینه‌اش را دارد؟ انتظار می‌رود: ثبت وضعیت کَش در هر فراخوانی و محاسبه‌ی هزینه‌ی صرفه‌جویی‌شده از طریق اصابت‌ها با استفاده از جدول قیمت‌گذاری، درست همان‌طور که ردیاب هزینه‌ی این درس انجام می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بررسی دما بی‌معنی است؛ پاسخ کش‌شده، پاسخ خوبی است.» دمای مثبت یعنی فراخواننده تنوع می‌خواهد. بازپخش، این تنوع را بدون اطلاع به کاربر از بین می‌برد.
  • «فقط پیام کاربر را هش کنید.» یک سؤال یکسان تحت پرامپت سیستم، مدل یا مجموعه‌ابزار متفاوت، پاسخ صحیح متفاوتی دارد.
  • «مدت‌زمان اعتبار، ورودی‌های منقضی‌شده را حذف می‌کند.» این سازوکار فقط آن‌ها را هنگام خواندن پنهان می‌کند. ورودی تا زمان خوانده شدن یا رخ دادن عملیات خروج، در حافظه باقی می‌ماند.

کجای دوره آموزش داده می‌شود

درس کشینگ و هزینه کَش دقیق را می‌سازد و اولین تمرین آن، سیاست خروج داده‌ها را جایگزین می‌کند.