سؤال مصاحبه

دو نوع کَش، و اینکه چرا یکی از آن‌ها تأثیری روی صورت‌حساب نگذاشت

Two caches, and why one did not move the bill

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

یکی از همکارانتان می‌گوید سرویس از قبل کَش دارد، چون کَش پرامپت (prompt cache) ارائه‌دهنده فعال است. اما مبلغ صورت‌حساب تقریباً هیچ تغییری نکرده است. در یک سرویس مدل، چه نوع کَش‌هایی وجود دارند، هر کدام مانع اجرای چه مرحله‌ای می‌شوند، و چرا یکی از آن‌ها هیچ تأثیری روی سؤالی که کاربران مدام می‌پرسند ندارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دو لایه کَش وجود دارد. کَش پیشوند (prefix cache) ارائه‌دهنده، وضعیت اتنشن (attention state) مربوط به پیشوند پرامپتی را بازاستفاده می‌کند که در یک درخواست قبلی محاسبه شده بود؛ بنابراین هزینه توکن‌های آغازینِ تکراری کمتر می‌شود، اما مدل همچنان اجرا خواهد شد. در مقابل، یک کش معنایی (semantic cache) در سطح اپلیکیشن، درخواست را به امبدینگ (embedding) تبدیل می‌کند و اگر پیش‌تر به سؤال مشابهی پاسخ داده شده باشد، همان پاسخ ذخیره‌شده را برمی‌گرداند؛ در نتیجه فراخوانی مدل به‌طور کامل حذف می‌شود. کَش پیشوند نمی‌تواند به سؤال‌های تکراری مستقیماً پاسخ دهد، چون بخش پیام کاربر توکن‌به‌توکن متفاوت است و مدل همچنان باید پاسخ را تولید کند.

پاسخ کامل

کَش پیشوند ارائه‌دهنده

ارائه‌دهنده کلیدها و مقادیر (Keys & Values) یک پیشوند قابل‌کَش را ذخیره می‌کند. درخواست بعدی با همان پیشوند، به‌جای هزینه کامل پیش‌پرکنی (prefill)، فقط هزینه خواندن را می‌پردازد. این تطابق صرفاً برای «پیشوند» کار می‌کند: با اولین توکن متفاوت زنجیره قطع می‌شود؛ به همین دلیل بخش‌های پایدار پرامپت ابتدا می‌آیند و پیام کاربر در انتهای آن قرار می‌گیرد. این کَش هزینه توکن‌های ورودی و زمان تا اولین توکن (Time to First Token) را کاهش می‌دهد. توکن‌های خروجی دقیقاً همان هزینه قبلی را دارند.

کش معنایی

پیش از فراخوانی، اپلیکیشن درخواست را به امبدینگ تبدیل کرده و به دنبال درخواستی ذخیره‌شده با شباهتی بالاتر از یک آستانه (threshold) مشخص (معمولاً 0.95 یا بالاتر) می‌گردد. در صورت اصابت به کَش، پاسخ ذخیره‌شده بازگردانده می‌شود و هیچ مدلی اجرا نخواهد شد. نرخ اصابت (hit rate) به الگوی ترافیک بستگی دارد. آمارهای جامعه کاربری در این درس نشان می‌دهد که این نرخ برای چت‌های باز حدود 10 تا 15 درصد و برای پشتیبانی ساختاریافته بین 40 تا 70 درصد است. یک کَش ساده‌تر از نوع تطابق دقیق (exact cache) نیز وجود دارد که مدل، پیام‌ها و دما (temperature) را هش می‌کند و فقط به فراخوانی‌های قطعی (deterministic) پاسخ می‌دهد.

چرا صورت‌حساب تغییری نکرد

کَش پیشوند تنها برای توکن‌های ورودیِ یک پیشوند تکراری تخفیف می‌دهد. اگر پیشوند کوتاه باشد، اگر در هر درخواست چیزی در آن تغییر کند، یا اگر توکن‌های خروجی بخش عمده صورت‌حساب را تشکیل دهند، صرفه‌جویی چندانی نخواهد داشت. سؤالات تکراری نوع دیگری از بازاستفاده هستند و فقط کش معنایی از پس آن‌ها برمی‌آید.

ترکیب این دو لایه

کَش ارائه‌دهنده بازاستفاده در سطح «توکن‌های دقیقاً یکسان» را مدیریت می‌کند. کش معنایی بازاستفاده در سطح «معنای یکسان» را پوشش می‌دهد. درس قبلی کَش‌سازی این دو را با هم ترکیب می‌کند و میزان کاهش هزینه ترکیبی را در یک اپلیکیشن معمولی بین 50 تا 95 درصد برآورد می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: کدام کَش پاسخ را بدون اجرای مدل برمی‌گرداند؟ انتظار می‌رود: کش معنایی. کَش پیشوند همچنان مدل را روی توکن‌های کَش‌نشده اجرا کرده و خروجی را تولید می‌کند.
  • سطح 2: همه کاربران پرسش متفاوتی را ذیل یک پرامپت سیستمی ثابت مطرح می‌کنند. کدام کَش به کار می‌آید؟ انتظار می‌رود: کَش پیشوند؛ چون پیشوند مشترک یکسان است اما سؤالات فرق دارند.
  • سطح 2: چه عاملی تعیین می‌کند که آیا افزودن کش معنایی ارزش دارد یا نه؟ انتظار می‌رود: نرخ اصابت در ترافیک واقعی خودتان (که از حدود 10 درصد در چت باز تا حدود 70 درصد در پشتیبانی ساختاریافته متغیر است) و هزینه ناشی از اصابت اشتباه.
  • سطح 3: چرا کَش تطابق دقیق به فراخوانی‌های با دمای بالاتر از صفر پاسخ نمی‌دهد؟ انتظار می‌رود: پاسخ ذخیره‌شده تنها یک نمونه بوده است. فراخوانی‌ای که تنوع می‌خواهد، در عوض یک بازپخش (replay) دریافت می‌کند که این کار، رفتار درخواستی کاربر را تغییر می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کَش پیشوند برای یک سؤال یکسان، همان پاسخ قبلی را برمی‌گرداند.» این کَش وضعیت اتنشن پیشوند را دوباره استفاده می‌کند؛ مدل همچنان تک‌تک توکن‌ها را تولید خواهد کرد.
  • «کش معنایی همان کَش پیشوند با تطابق فازی است.» کش معنایی در سمت اپلیکیشن قرار دارد، بر اساس امبدینگ‌ها کلید می‌خورد و اجرای مدل را دور می‌زند. کَش پیشوند در سمت ارائه‌دهنده است و بر اساس توکن‌های دقیق کار می‌کند.
  • «یک لایه کَش کافی است.» آن‌ها دو نوع بازاستفاده متفاوت را پوشش می‌دهند: توکن‌های یکسان در برابر معنای یکسان؛ این درس هر دوی آن‌ها را با هم ترکیب می‌کند.

کجای دوره آموزش داده می‌شود

درس اقتصاد کَش این دو لایه را از هم تفکیک می‌کند و درس کَش و هزینه کَش تطابق دقیق و کش معنایی را پیاده‌سازی می‌کند.