سؤال مصاحبه

چرا بخش مشترک پرامپت باید اول بیاید

Why the shared part of the prompt goes first

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

هر درخواستی که به سرویس چت شما می‌رسد پرامپت سیستم طولانی و یکسانی را تکرار می‌کند، و کش پیشوند (prefix caching) موتور هم به‌صورت پیش‌فرض روشن است. چه چیزی تعیین می‌کند که درخواست بعدی بتواند کارِ انجام‌شده در درخواست قبلی را دوباره استفاده کند؟ پرامپت را چطور باید بچینید، و چگونه به‌جای حدس زدن، اصابت به کش (hit) را با عدد و رقم نشان می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کش، توکن‌ها را از همان توکنِ اول تطبیق می‌دهد و با رسیدن به نخستین تفاوت متوقف می‌شود؛ بنابراین برای اصابت به کش، باید دقیقاً همان توکن‌ها با همان ترتیب در ابتدای پرامپت بیایند. بخش‌هایی را که هرگز تغییر نمی‌کنند اول بگذارید، بخش‌هایی را که در هر نشست (session) تغییر می‌کنند بعد از آن‌ها، و در آخر هم سؤال، زمان و هرگونه شناسه‌ی درخواست (request ID) را قرار دهید. اصابت را از سمت سرور اثبات کنید: با فیلد cached_tokens در بلوک usage، تعداد #cached-token در خط لاگ پیش‌پرکنی (prefill)، یا شمارنده‌های کش پیشوند در مسیر /metrics.

پاسخ کامل

اصابت به کش چقدر صرفه‌جویی می‌کند

روی کارت L4 ما با مدل Qwen/Qwen3-8B، نسخه‌ی 0.31.0 فریم‌ورک vLLM تعداد 4 گروه شامل 16 پرامپت را با 8 کاربر هم‌زمان اجرا کرد. پرامپت‌های هر گروه یک پرامپت سیستم مشترک به طول‌های جدول زیر داشتند؛ سپس یک سؤال 128 توکنی به آن‌ها اضافه شد و مدل باید 64 توکن برمی‌گرداند.

توکن‌های پرامپت مشترک میانه‌ی TTFT با کش روشن میانه‌ی TTFT با کش خاموش
هیچ 408 ms 392 ms
256 488 ms 753 ms
1,024 396 ms 1,213 ms
2,048 410 ms 2,550 ms
4,096 375 ms 13,353 ms

وقتی کش روشن بود، زمان رسیدن به اولین توکن (TTFT) در همه‌ی طول‌ها حدود 400 ms باقی ماند. بدون کش، زمان رسیدن به اولین توکن متناسب با بخش مشترک بالا رفت، چون هر درخواست مجبور بود کل پرامپت را از اول محاسبه کند. ردیف 1,024 تمیزترین مقایسه است، چون فرکانس کاری در هر دو اجرا روی 1,410 MHz یا بالاتر ماند؛ در آنجا کش زمان اولین توکن را حدود 3 برابر کاهش داد و خروجی را 50 درصد بیشتر کرد. SGLang روی همین کارت هم الگوی مشابهی نشان داد: 479 ms در برابر 14,706 ms در 4,096 توکن مشترک، البته در حالتی که فرکانس اجرای بدون کش به 930 MHz محدود (throttled) شده بود.

چرا ترتیب توکن‌ها تعیین‌کننده است

مقادیر اتنشن (attention) هر توکن به همه‌ی توکن‌های قبل از خود وابسته است. کشی که بخواهد بعد از یک تغییر دوباره از توکن‌ها استفاده کند، پاسخ‌های نادرست برمی‌گرداند؛ بنابراین کش پیشوند ذاتاً تطبیق دقیق انجام می‌دهد و به همین دلیل، هیچ خطایی را نمی‌بخشد. در vLLM تطبیق به‌صورت بلوک‌های 16 توکنی پیش می‌رود و فقط بلوک‌های کامل کش می‌شوند: یک بخش مشترک 20 توکنی تنها یک بلوک کش‌شده می‌دهد و 4 توکن آخر هر بار از نو محاسبه می‌شوند. در SGLang، درخت مبنا (radix tree) توکن‌به‌توکن تطبیق می‌دهد و آخرین توکن پرامپت همیشه وارد مرحله‌ی پیش‌پرکنی می‌شود، چون مدل برای نمونه‌گیری اولین توکن خروجی به لاجیت‌های (logits) آن نیاز دارد. یک پرامپت 2,999 توکنی، 2,998 توکن کش‌شده گزارش کرد.

ترتیب چینش

  1. بخش‌هایی که هرگز تغییر نمی‌کنند: پرامپت سیستم، تعاریف ابزار (tool definitions) با ترتیب ثابت، و دستورالعمل‌های ثابت.
  2. بخش‌هایی که به‌ندرت تغییر می‌کنند: اسناد مربوط به یک نشست، و نوبت‌های گفت‌وگوی (turns) قبلی که دست‌نخورده فرستاده می‌شوند.
  3. بخش‌هایی که با هر درخواست تغییر می‌کنند: سؤال کاربر، زمان، و شناسه‌ی درخواست.

الگوی چت (chat template) را هم بررسی کنید. بعضی الگوها تاریخ را داخل پرامپت سیستم می‌گذارند. یک شیء JSON هم که ترتیب کلیدهایش عوض شود، دنباله‌ی متفاوتی از توکن‌ها می‌سازد.

اثبات اصابت به کش

  • vLLM: تقسیم vllm:prefix_cache_hits_total بر vllm:prefix_cache_queries_total در مسیر /metrics، و خط لاگی که Prefix cache hit rate را چاپ می‌کند؛ این مقدار در میانه‌ی اجرای پیشوند مشترک، 87.2 درصد ثبت شد.
  • SGLang: سرور را با آرگومان --enable-cache-report بالا بیاورید و مقدار cached_tokens را در بلوک usage بخوانید، مقادیر #cached-token و #new-token را در هر خط Prefill batch ببینید، یا سنجه‌ی گِیج (gauge) به نام sglang:cache_hit_rate را بررسی کنید که بعد از بنچمارک پیشوند مشترک روی 0.94 و با کش خاموش روی 0.0 بود.

اگر نرخ اصابت (hit rate) پایین است، تقریباً همیشه علتش به ترتیب اجزای پرامپت برمی‌گردد. پر شدن فضای اشتراکی (pool) دلیل بعدی است، چون کش بلوک‌های قدیمی را فقط تا زمانی نگه می‌دارد که درخواستی در حال اجرا به آن حافظه نیاز نداشته باشد. مسیریابی (routing) عامل سوم است: وقتی چند سرور دارید، درخواستی که به سروری بدون پیشوند قبلی فرستاده شود، فارغ از ظاهر پرامپت دچار عدم اصابت (miss) می‌شود؛ در یک گزارش، با هدایت هر گفت‌وگو به همان سرور قبلی، نرخ اصابت از 64.7 به 92.1 درصد رسید.

تفکیک مستأجرها

اگر دو کاربر پیشوند یکسانی داشته باشند، بلوک‌های مشترکی را استفاده می‌کنند و زمان پاسخ‌دهی یکی می‌تواند محتوای ارسالی دیگری را لو بدهد. برای حل این مشکل، یک فیلد cache_salt به ازای هر مستأجر (tenant) وارد کلید بلوک می‌شود تا مقادیر salt متفاوت هرگز به اشتراک گذاشته نشوند. تطبیق‌دهنده‌ی (adapter) مربوط به LoRA هم بخشی از این کلید است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: در vLLM هر درخواست با 20 توکن یکسان شروع می‌شود. چند توکن از کش می‌آیند؟ پاسخ مورد انتظار: 16 توکن، یعنی یک بلوک کامل؛ 4 توکن آخر هر بار محاسبه می‌شوند، چون فقط بلوک‌های کامل کش می‌شوند.
  • سطح 3: ساختار پرامپت دست‌نخورده است، یک سرور به‌خوبی اصابت به کش دارد، اما کل ناوگان سرورها همچنان دچار عدم اصابت می‌شود. دو علت خارج از پرامپت نام ببرید. پاسخ مورد انتظار: پر شدن حافظه که قبل از رسیدن درخواست بعدی بلوک‌ها را پاک می‌کند، و مسیریابی (router) که نشست را به سروری می‌فرستد که هرگز پیشوند آن را ندیده است؛ مسیریابی چسبنده (sticky routing) در یک گزارش، نرخ اصابت را از 64.7 به 92.1 درصد رساند.
  • سطح 3: چرا SGLang برای یک پرامپت 2,999 توکنی، 2,998 توکن کش‌شده گزارش می‌دهد و هرگز به 2,999 نمی‌رسد؟ پاسخ مورد انتظار: آخرین توکن پرامپت همیشه از مرحله‌ی پیش‌پرکنی رد می‌شود، چون مدل برای نمونه‌گیری اولین توکن خروجی به لاجیت‌های آن نیاز دارد.
  • سطح 4: کلاینت در انتهای پرامپت سیستم، یک اسنپ‌شات (snapshot) از فهرست وظایف (task list) می‌نویسد و در هر نوبت گفت‌وگو آن را به‌روزرسانی می‌کند. درخت چه رفتاری نشان می‌دهد؟ پاسخ مورد انتظار: هر به‌روزرسانی پرامپت سیستم را عوض می‌کند، بنابراین تمام توکن‌های بعد از آن—از جمله کل تاریخچه‌ی پشت سرش—دچار عدم اصابت می‌شوند؛ در حادثه‌ای که در مستندات آمده، این کار باعث ابطال بیش از 100,000 توکن در هر نوبت گفت‌وگو شد. راهکار این است که اسنپ‌شات بعد از تاریخچه گذاشته شود یا به فراداده‌ی (metadata) درخواست منتقل شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کش روشن است، پس پرامپت‌های تکراری حتماً به کش می‌خورند.» تطبیق از اولین توکن کاملاً دقیق است؛ یک برچسب زمان، شناسه‌ی درخواست یا تغییر ترتیب فهرست ابزارها در نزدیکی ابتدا باعث می‌شود تمام بلوک‌های بعدی از دست بروند؛ آمدن یک شناسه‌ی تصادفی در ابتدا باعث شد از یک پرامپت 3,034 توکنی فقط 5 توکن با کش تطبیق بخورد.
  • «سؤال کاربر را اول بگذارید تا مدل اول آن را بخواند.» سؤال با هر درخواست عوض می‌شود، بنابراین پرامپت سیستم مشترکی که پشت آن قرار دارد هرگز تطبیق پیدا نمی‌کند؛ بخش ثابت را اول و سؤال را در آخر بگذارید.
  • «برای داشتن یک بنچمارک منصفانه، کش را خاموش کنید.» کش در محیط عملیاتی (production) روشن است، پس تست باید کش را بین اجراها بازنشانی (reset) کند، نه اینکه کلاً آن را بردارد؛ با خاموش بودن کش، اولین توکن در 4,096 توکن مشترک روی vLLM حدود 13,353 ms و روی SGLang حدود 14,706 ms زمان برد.
  • «نرخ اصابت را از روی زمان پاسخ‌دهی کلاینت اندازه بگیرید.» آن را مستقیم از سرور بخوانید: از بلوک usage، خط لاگ پیش‌پرکنی یا شمارنده‌ها. سریع‌تر بودن پاسخ دوم می‌تواند صرفاً به دلیل گرم‌تر بودن GPU باشد.

کجای دوره آموزش داده می‌شود

بخش‌های Make repeated prompts hit the prefix cache، Prefix-friendly prompts و RadixCache عملکرد کش را روی هر دو موتور اندازه می‌گیرند، و درس RadixAttention قاعده‌ی چیدمان توکن‌ها را توضیح می‌دهد.