سؤال مصاحبه

چرا یک شناسه در ابتدای پرامپت کَش را نابود می‌کند؟

Why one ID at the top of a prompt kills the cache

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

تمام درخواست‌های ارسالی به سرویس شما با یک پرامپت سیستمیِ طولانی و یکسان شروع می‌شوند و کش پیشوند (prefix cache) نیز فعال است. با این حال، سرور تقریباً هیچ توکن کش‌شده‌ای را گزارش نمی‌کند و توکن اول هم کند تولید می‌شود. هفته‌ی گذشته یکی از هم‌تیمی‌ها برای ردگیری محاسبات (tracing)، یک شناسه‌ی درخواست به ابتدای پرامپت سیستمی اضافه کرد. چه اتفاقی افتاده است و چه تغییری باید بدهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کش پیشوند، تطابق پرامپت را از اولین توکن آن بررسی می‌کند و به محض رسیدن به اولین توکن متفاوت متوقف می‌شود. قرار دادن یک شناسه‌ی جدید در ابتدای پرامپت باعث می‌شود تمام توکن‌های بعدی بسوزند و پیدا نشوند (miss)؛ بنابراین سرور در هر درخواست کل پرامپت را از اول محاسبه می‌کند. بخش‌هایی را که هرگز تغییر نمی‌کنند به ابتدا ببرید و شناسه را بعد از آن‌ها بگذارید. سپس با شمارنده‌های توکن‌های کش‌شده، درستی این تغییر را اثبات کنید.

پاسخ کامل

چرا جایگاه توکن‌ها اهمیت دارد؟

مقادیر اتنشن (attention) هر توکن به تک‌تک توکن‌های پیش از آن وابسته است. بنابراین، کش تنها زمانی می‌تواند یک توکن را بازیافت کند که کل پیشوندِ قبل از آن دقیقاً یکسان باشد. درخت مبنا (Radix Tree) در SGLang توکن‌ها را از اولین توکن مقایسه می‌کند و با دیدن اولین تفاوت متوقف می‌شود. vLLM نیز همین کار را با بلوک‌های 16 توکنی انجام می‌دهد؛ یعنی فقط بلوک‌های کامل را کش می‌کند و در اولین بلوک متفاوت متوقف می‌شود.

این کار چقدر هزینه دارد؟

مستندات راهنمای SGLang یک پرامپت سیستمی 2999 توکنی را در سه چیدمان مختلف اندازه گرفته است:

چیدمان میانه‌ی TTFT میانه‌ی توکن‌های کش‌شده
پرامپت کاملاً یکسان در هر درخواست 45.1 میلی‌ثانیه 2998.0
شناسه‌ی تصادفی در ابتدای پرامپت 1255.3 میلی‌ثانیه 5
همان شناسه در انتهای پرامپت 88.2 میلی‌ثانیه 2985

وقتی شناسه در ابتدای پرامپت قرار گرفت، فقط 5 توکنِ قبل از ارقام تصادفی تطابق داشتند و تولید توکن اول 28 برابر بیشتر طول کشید. اما با بردن شناسه به انتهای پرامپت، هزینه‌ی پردازش به 43 میلی‌ثانیه رسید.

روش اصلاح

  1. بخش‌های همواره ثابت را اول بگذارید: پرامپت سیستمی، تعریف ابزارها (tool definitions) و دستورالعمل‌های ثابت.
  2. بخش‌هایی را که به‌ندرت تغییر می‌کنند بعد از آن‌ها قرار دهید؛ مثل سندهای مربوط به یک نشست (session).
  3. بخش‌هایی را که در هر درخواست عوض می‌شوند در آخر بیاورید: پرسش کاربر، زمان و شناسه‌ی درخواست.
  4. شناسه‌ی ردگیری (trace ID) را داخل هدر یا فیلدهای درخواست ارسال کنید، نه در متن پرامپت.

الگوی چت (chat template) را هم حتماً بررسی کنید؛ بعضی الگوها تاریخ را داخل پرامپت سیستمی می‌گذارند.

اثبات

در vLLM، مقادیر vllm:prefix_cache_hits و vllm:prefix_cache_queries را از مسیر /metrics بخوانید. حاصل تقسیم اصابت‌ها (hits) بر کل کوئری‌ها، نرخ اصابت (Hit Rate) را نشان می‌دهد. در SGLang، سرور را با --enable-cache-report اجرا کنید و مقدار usage.prompt_tokens_details.cached_tokens را در هر پاسخ بخوانید. در یک چیدمان خوب، تقریباً تمام توکن‌های پرامپت بعد از اولین درخواست به‌صورت کش‌شده دیده می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: با وجود این اصلاح، نرخ اصابت همچنان پایین است. علت بعدی که باید بررسی شود چیست؟ پاسخ مورد انتظار: پر شدن حافظه‌ی اشتراکی (pool)، چون کش تنها تا زمانی بلوک‌های قدیمی را نگه می‌دارد که یک درخواست در حال اجرا به آن حافظه نیاز پیدا نکند.
  • سطح 2: ایجاد تغییر در کجای یک درخواستِ چت کمترین هزینه را دارد؟ پاسخ مورد انتظار: در جدیدترین پیام؛ چون الگو آن را در آخر قرار می‌دهد و فقط همان پیام باید دوباره محاسبه شود.
  • سطح 3: دو مستأجر (tenant) پرامپت سیستمی یکسانی می‌فرستند. این کار چه ریسکی دارد و راهکار کنترلی آن در vLLM چیست؟ پاسخ مورد انتظار: یکی از آن‌ها می‌تواند از روی زمان پاسخ بفهمد دیگری چه چیزی فرستاده است. به ازای هر مستأجر یک cache_salt جداگانه بفرستید تا درخواست‌های آن‌ها هیچ‌وقت بلوک مشترکی نداشته باشند.
  • سطح 3: تیمی سطوح کش و سیاست پاک‌سازی داده‌ها (eviction policy) را تنظیم می‌کند، اما نرخ اصابت تغییری نمی‌کند. اول چه چیزی را بررسی می‌کنید؟ پاسخ مورد انتظار: متن پرامپت؛ برای پیدا کردن مقداری در نزدیکی ابتدا که در هر درخواست عوض می‌شود، مثل یک هش تصادفی یا برچسب زمانی (timestamp).
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «حافظه‌ی بیشتری به کش بدهید.» یک استخر بزرگ‌تر بلوک‌های بیشتری نگه می‌دارد، اما برای پرامپتی که از همان توکن‌های اول تفاوت دارد، اصلاً بلوکی برای استفاده‌ی مجدد وجود ندارد.
  • «کش طولانی‌ترین بخش مشترک را در هر کجای پرامپت پیدا می‌کند.» کش فقط از توکن اول تطابق را می‌سنجد؛ بنابراین بخش مشترکی که بعد از یک نقطه تفاوت بیاید، هیچ‌وقت کش نمی‌شود.
  • «کش سلسله‌مراتبی (hierarchical caching) را روشن کنید.» لایه‌ی دوم فقط پیشوندهای بیشتری را ذخیره می‌کند؛ اما نمی‌تواند پیشوندی را که در تک‌تک درخواست‌ها فرق دارد تطبیق دهد.

کجای دوره آموزش داده می‌شود

بخش پرامپت‌های سازگار با پیشوند این سه چیدمان را مقایسه می‌کند، بخش کش پیشوند vLLM شمارنده‌ها را توضیح می‌دهد، و درس توجه رادیکس (RadixAttention) درخت مبنا را پیاده‌سازی می‌کند.