سؤال مصاحبه

صفر ماندن تعداد خواندن از کش در تمام درخواست‌ها

Cache reads stay at zero on every request

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

قابلیت کش کردن پرامپت (prompt caching) را روی یک پرامپت سیستم 15,000 توکنی فعال کرده‌اید. فیلد مصرف برای خواندن از کش (cache read) در تمام درخواست‌ها صفر می‌ماند، در حالی که توکن‌های ایجاد کش در تک‌تک درخواست‌ها برایتان فاکتور می‌شوند. برای عیب‌یابی سراغ چه مواردی می‌روید و با چه ترتیبی؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

چیزی قبل از نقطه‌ی شکست کش (cache breakpoint) در هر درخواست تغییر می‌کند. اول بررسی کنید برچسب زمانی (timestamp) یا شناسه‌ی درخواستی (request id) در خطوط ابتدایی پرامپت سیستم نباشد؛ سپس سراغ تعریف ابزارها (tool definitions) بروید که شاید با ترتیبی متغیر سریال‌سازی می‌شوند؛ بعد از آن، سراغ متن‌های تقریباً یکسانی بروید که بین مسیرهای مختلف کد حتی در حد یک بایت فرق دارند؛ و در آخر بررسی کنید اندازه‌ی بلاک کمتر از حداقل مجاز برای کش نباشد. کش فقط بر اساس تطابق پیشوند (prefix match) کار می‌کند؛ بنابراین، اولین توکنِ متفاوت، تمام بخش‌های بعد از خود را به خطا در کش (miss) تبدیل می‌کند.

پاسخ کامل

اصل پایا (The invariant)

همه‌ی ارائه‌دهنده‌ها بر اساس پیشوند کش می‌کنند. وقتی پیشوندِ یک درخواست با درخواستی اخیر تطابق داشته باشد، ارائه‌دهنده به‌جای انکود دوباره‌ی توکن‌ها، کش کلید و مقدار (KV cache) ذخیره‌شده را تحویل می‌دهد و هزینه‌ی خواندن را هم با کسری از نرخ توکن ورودی حساب می‌کند. اگر حتی یک توکن فرق کند، کل بخش‌های بعد از آن دچار خطا می‌شوند. فیلدهای مصرف حقیقت را می‌گویند: شارژ توکن‌های ایجاد در هر بار و صفر ماندن تعداد خواندن یعنی پیشوند هرگز مطابقت پیدا نکرده است.

چک‌لیست عیب‌یابی، به‌ترتیب بررسی

  1. فیلد پویا در خطوط ابتدایی. زمان فعلی، شناسه‌ی درخواست یا شناسه‌ی نشست (session id) در خطوط ابتدایی پرامپت سیستم، باعث بروز خطا در تک‌تک درخواست‌ها می‌شود. آن را به زیر نقطه‌ی شکست، کنار سایر فیلدهای مخصوص هر درخواست منتقل کنید.
  2. تغییر ترتیب ابزارها. ابزارهایی که از روی دیکشنری سریال‌سازی می‌شوند ممکن است بین دیپلوی‌ها یا فرایندها (processes) تغییر چیدمان بدهند؛ حتماً آن‌ها را با ترتیبی ثابت سریال‌سازی کنید.
  3. متن‌های تقریباً یکسان. اگر دو مسیر مختلف کد، پرامپت را با یک بایت اختلاف بسازند، دو پیشوند مجزا ایجاد می‌شود و هیچ موفقیتی در کش ثبت نخواهد شد.
  4. بلاک‌های خیلی کوچک. در کش صریح، حداقل اندازه‌ی بلاک 1,024 توکن است (و در مدل کوچک 2,048 توکن)؛ بلاک‌های کوچک‌تر در سکوت و بدون خطا کش نمی‌شوند.
  5. در ارائه‌دهنده‌ی خودکار، تغییر فیلد کاربر (user) بخشی از کلید کش محسوب می‌شود؛ بنابراین پیشوند همچنان باید ثابت و بیشتر از 1,024 توکن باشد.

چیدمان بهینه برای برخورد کش (hit)

ابتدا پرامپت سیستم، سپس تعریف ابزارها، بعد از آن مثال‌های چندنمونه‌ای (few-shot examples)، سپس اسناد بازیابی‌شده در صورت استفاده‌ی مجدد، بعد تاریخچه‌ی گفت‌وگو تا نوبت (turn) قبلی، و در پایان پیام فعلی که چون هر بار فرق می‌کند، هرگز کش نمی‌شود.

تبدیل به یک تست نرم‌افزاری

در CI، دو درخواست با ورودی یکسان از طریق ابزار ساخت پرامپت محیط عملیاتی (production) بسازید، پیشوندهای قابل‌کش آن‌ها را مقایسه کنید، هر دو را بفرستید و با یک assertion مطمئن شوید که تعداد توکن‌های خوانده‌شده از کش در درخواست دوم بالای صفر است. نوشتن دستی دو بدنه‌ی کاملاً یکسان باعث می‌شود برچسب زمانی یا شناسه‌ی درخواستی را که خود ابزار اضافه می‌کند نبینید. در داشبورد هزینه‌ها، توکن‌های ورودی را به دو بخش کش‌شده و کش‌نشده تفکیک کنید؛ وگرنه افت ترافیک را به‌اشتباه موفقیت کش برداشت خواهید کرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: این موضوع را چطور به یک تست تبدیل می‌کنید؟ پاسخ مورد انتظار: دو درخواست با ورودی کاربر یکسان از طریق ابزار ساخت پرامپت در محیط عملیاتی ساخته می‌شوند، با این شرط که تعداد توکن‌های خوانده‌شده از کش در درخواست دوم باید بیشتر از صفر باشد؛ اگر صفر بماند، یعنی کلیدها دچار دریفت (drift) می‌شوند.
  • سطح 2: برچسب زمانی به‌جای آن کجا قرار می‌گیرد؟ پاسخ مورد انتظار: زیر نقطه‌ی شکست، کنار سایر فیلدهای مختص هر درخواست مثل پیام کاربر.
  • سطح 3: اگر بلاک کمتر از حداقل اندازه باشد چه می‌شود؟ پاسخ مورد انتظار: چیزی کش نمی‌شود و چیزی هم گزارش نخواهد شد؛ حداقل اندازه 1,024 توکن است (و در مدل کوچک 2,048 توکن).
  • سطح 3: بعد از تغییرات شما، مصرف توکن‌های ورودی افت کرد. آیا این اثبات کارکرد درست سیستم است؟ پاسخ مورد انتظار: خیر؛ توکن‌های ورودی را به تفکیک کش‌شده و کش‌نشده بررسی کنید، وگرنه افت ترافیک شبیه به موفقیت کش به نظر می‌رسد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کش کردن خودکار است و نیازی به پیکربندی ندارد.» در ارائه‌دهنده‌های صریح باید بلاک را مشخص کنید؛ در حالت خودکار هم پیشوند باید پایدار و بالای 1,024 توکن باشد و تغییر فیلد کاربر یا ترتیب ابزارها کش را می‌شکند.
  • «پیام کاربر را اول بیاورید تا مدل زودتر آن را بخواند.» با این کار تنها بخشی را که تغییر می‌کند بالای همه‌چیز می‌گذارید و کش هرگز اصابت نمی‌کند.
  • «مدت‌زمان اعتبار (TTL) را به یک ساعت افزایش دهید، کش دارد منقضی می‌شود.» انقضای کش به‌صورت نوشتن پس از دوره‌های بی‌فعالی خودش را نشان می‌دهد، نه در تک‌تک درخواست‌ها؛ ضمناً TTL یک‌ساعته هزینه‌ی نوشتن را دو برابر می‌کند.

کجای دوره آموزش داده می‌شود

درس کش کردن پرامپت به توضیح اصل تطابق پیشوند، چیدمان سازگار با کش، دام‌ها و بررسی در CI می‌پردازد.