سؤال مصاحبه

کش کلید-مقداری که آخرین جایگاه خود را از دست می‌دهد

A KV cache that loses its last slot

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۰ دقیقه

یک حلقه‌ی رمزگشایی (decode loop)، کلیدها و مقدارها را در یک کش از پیش تخصیص‌یافته نگه می‌دارد و یک کوئری را روی پیشوند ذخیره‌شده اعمال می‌کند (اتنشن می‌دهد). فرآیند تولید همیشه یک توکن مانده به پایان طول زمینه‌ی (context length) تنظیم‌شده متوقف می‌شود، و نخستین توکن‌های یک پرامپت طولانی روی سطرهای صفر اضافه‌ای اتنشن اعمال می‌کنند. کد کش به این صورت است:

class KVCache:
    def __init__(self, max_len, d_k, d_v):
        self.k = np.zeros((max_len, d_k))
        self.v = np.zeros((max_len, d_v))
        self.n = 0

    def append(self, k, v):
        k = np.atleast_2d(k)
        v = np.atleast_2d(v)
        self.n += k.shape[0]
        if self.n >= self.k.shape[0]:
            raise ValueError("cache full")
        self.k[self.n - k.shape[0]:self.n] = k
        self.v[self.n - k.shape[0]:self.n] = v

    def keys(self):
        return self.k

این دو نشانه را با توجه به کد توضیح دهید و آن‌ها را برطرف کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بررسی ظرفیت، عملیات افزودنی را که دقیقاً روی مرز ظرفیت تمام می‌شود رد می‌کند؛ بنابراین آخرین جایگاه (slot) هرگز استفاده نمی‌شود و تولید توکن یک توکن زودتر متوقف خواهد شد. همچنین شمارنده قبل از این بررسی به‌روزرسانی می‌شود؛ در نتیجه اگر عملیات افزودن رد شود، مقدار طول نادرست باقی می‌ماند. توابع دسترسی به داده نیز کل بافر را به‌جای پیشوند پرشده برمی‌گردانند و باعث می‌شوند اتنشن سطرهای خالی صفر را هم ببیند. پیش از دست زدن به شمارنده، بررسی کنید که مجموع طول فعلی و گام‌های جدید از ظرفیت فراتر نرود و تنها نمایی (view) از n سطر اول را برگردانید.

پاسخ کامل

اشکال اول: شرط مرزی

عملیات افزودنی که کش را دقیقاً تا سقف ظرفیت پر می‌کند معتبر است. شرط بررسی تنها زمانی باید عملیات را رد کند که طول جدید از ظرفیت بیشتر شود. با این مقایسه‌ی اکید، سطر آخر عملاً بلااستفاده می‌ماند و حلقه‌ی تولیدی که اندازه‌ی کش را بر اساس طول زمینه تعیین می‌کند، یک توکن زودتر متوقف می‌شود.

اشکال دوم: شمارنده

افزایش مقدار طول پیش از بررسی به این معناست که اگر عملیات افزودن رد شود، کش مدعی ذخیره‌سازی گام‌هایی می‌شود که هرگز ثبت نکرده است. در نتیجه فراخوانی بعدی، داده‌ها را جلوتر از نقطه‌ی واقعی می‌نویسد یا یک عملیات افزودن معتبر را رد می‌کند. طبق قاعده‌ی عملی این تمرین، عملیات افزودنی که رد می‌شود نباید هیچ تغییری در وضعیت ایجاد کند.

اشکال سوم: نمای بافر

تابع keys() تمام سطرهای بافر را برمی‌گرداند؛ چه پر شده باشند و چه خالی. سپس کوئری روی سطرهای صفری اتنشن اعمال می‌کند که بعد از سافت‌مکس (softmax) وزن می‌گیرند و همین مسئله خروجی را برای پیشوندهای کوتاه تضعیف می‌کند. باید تنها n سطر اول را برگردانید.

کلاس اصلاح‌شده

    def append(self, k, v):
        k = np.atleast_2d(k)
        v = np.atleast_2d(v)
        if k.shape[0] != v.shape[0]:
            raise ValueError("keys and values differ in steps")
        if self.n + k.shape[0] > self.k.shape[0]:
            raise ValueError("cache full")
        self.k[self.n:self.n + k.shape[0]] = k
        self.v[self.n:self.n + k.shape[0]] = v
        self.n += k.shape[0]

    def keys(self):
        return self.k[:self.n]

    def values(self):
        return self.v[:self.n]

کپی کردن داده در بافر همچنین از کش در برابر تغییرات بعدی آرایه‌های ارسال‌شده توسط فراخواننده محافظت می‌کند.

تطابق با حلقه‌ی تولید توکن

تولیدکننده‌ی توکن در درس سرهم‌بندی، با انداختن قدیمی‌ترین توکن‌ها در زمانی که مجموع پرامپت و توکن‌های تولیدشده از طول زمینه بیشتر شود، پنجره‌ی فعال را درون طول زمینه نگه می‌دارد. یک کش با ظرفیت ثابت در یک لایه پایین‌تر به همین قاعده نیاز دارد: یا عملیات افزودن را رد کند و اجازه دهد حلقه پنجره را بلغزاند، یا قدیمی‌ترین سطرها را بیرون بریزد (evict کند). در این تمرین، حالت رد کردن تثبیت شده است تا مرزها کاملاً صریح و شفاف باشند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: گام رمزگشایی با کلیدهای ذخیره‌شده چه می‌کند؟ پاسخ مورد انتظار: به ازای یک کوئری در برابر تک‌تک کلیدهای ذخیره‌شده امتیازدهی می‌کند، حاصل را بر ریشه‌ی دوم اندازه‌ی کلید تقسیم می‌کند، سافت‌مکس می‌گیرد و مقدارهای ذخیره‌شده را وزن‌دهی می‌کند.
  • سطح 3: باگ دیگری همه‌ی داده‌های جدید را در سطر صفر می‌نویسد. نشانه‌ی این مشکل چیست؟ پاسخ مورد انتظار: گام‌های جدید جایگزین گام‌های قبلی می‌شوند؛ بنابراین اتنشن همیشه فقط آخرین داده‌ی اضافه‌شده را می‌بیند و مدل زمینه‌ی خود را از دست می‌دهد.
  • سطح 4: کش صفحه‌بندی‌شده (paged cache) کجای این طراحی را تغییر می‌دهد؟ پاسخ مورد انتظار: ظرفیت تبدیل به استخری از بلوک‌های با اندازه‌ی ثابت می‌شود که میان درخواست‌ها به اشتراک گذاشته شده‌اند؛ بنابراین عملیات افزودنی که به بلوک جدید نیاز دارد، به‌جای ناموفق کردن درخواست، می‌تواند منتظر بماند یا سهم بقیه را مصادره (preempt) کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از علامت بزرگ‌تر یا مساوی استفاده کنید تا کش هرگز سرریز نشود.» این کار پر شدن کامل کش را هم رد می‌کند و آخرین جایگاه را هدر می‌دهد.
  • «کل بافر را برگردانید؛ سطرهای صفر هیچ تأثیری ندارند.» کلیدهای صفر همچنان در سافت‌مکس وزن می‌گیرند و خروجی را به سمت مقدارهای صفر می‌کشند.
  • «اول شمارنده را به‌روزرسانی کنید تا اندیس‌های برش ساده‌تر شوند.» با رد شدن یک عملیات افزودن، مقدار طول خراب می‌شود.

کجای دوره آموزش داده می‌شود

درس سرهم‌بندی مدل GPT با یک پنجره‌ی لغزان (sliding window) فرآیند تولید را به طول زمینه محدود می‌کند، و تمرین کش کلید-مقدار قاعده‌ی ظرفیت و نماهای پیشوند پرشده را تثبیت می‌کند.