سؤال مصاحبه

ده فراخوانی موازی ابزار، ده بار نوشتن در کش، بدون هیچ خواندنی

Ten parallel tool calls, ten cache writes, no reads

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک ایجنت (Agent) به ازای هر پرسش کاربر، ده فراخوانی ابزار (Tool call) را هم‌زمان به‌صورت توزیع موازی (Fan-out) می‌فرستد. هر ده درخواست از یک پرامپت (Prompt) سیستم طولانی و مشترک استفاده می‌کنند و کش کردن پرامپت (Prompt caching) نیز روشن است. با این حال، صورت‌حساب چند برابر مقداری است که کش باید اجازه می‌داد، و فیلدهای مصرف توکن نشان می‌دهند که تقریباً روی تمام فراخوانی‌ها نوشتن در کش (Cache write) رخ داده و تقریباً هیچ خواندن از کش (Cache read) ثبت نشده است. ماجرا از چه قرار است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر ده درخواست پیش از آنکه اولین درخواست نوشتنِ پیشوند در کش را تمام کند، به ارائه‌دهنده می‌رسند. تک‌تک آن‌ها به خطا (Miss) می‌خورند، هزینه‌ی اضافی نوشتن را می‌پردازند و هیچ‌کدام هم چیزی از کش نمی‌خوانند. راه‌حل این است که اول یکی را متوالی بفرستید (Sequential-first): یک درخواست را به‌تنهایی ارسال کنید، بگذارید نوشتن آن در کش تثبیت شود، و سپس نه درخواست دیگر را به‌صورت توزیع موازی بفرستید. این کار حدوداً به‌اندازه‌ی تاخیر (Latency) یک نوشتن به اولین فراخوانی ابزار اضافه می‌کند و هزینه‌ی بادکرده را از بین می‌برد.

پاسخ کامل

سازوکار مشکل

نوشتن در کش به ازای هر درخواست انجام می‌شود. طبق درس، اولین نوشتن حدود 300 میلی‌ثانیه بعد از اینکه ارائه‌دهنده پرامپت را دریافت کرد، می‌نشیند. درخواست‌هایی که در طول این پنجره‌ی زمانی می‌رسند، چیزی برای خواندن پیدا نمی‌کنند؛ بنابراین هر کدام دست به نوشتن می‌زنند. حاصل کار می‌شود ده بار نوشتن و صفر بار خواندن، به ازای هر پرسش کاربر که پیشوند را سرد (Cold) می‌بیند. اگر پرسش بعدی در زمانی برسد که نوشتنِ قبلی هنوز در طول عمر کش (Cache lifetime) قرار دارد، از آن می‌خواند؛ در نتیجه این تله زمانی خودش را نشان می‌دهد که فاصله‌ی بین پرسش‌ها از این طول عمر بیشتر باشد. درس گزارش می‌دهد که تنها همین پادالگو (Anti-pattern)، صورت‌حساب را 5 تا 10 برابر هزینه‌ی مورد انتظار با وجود کش بالا می‌برد.

بررسی فیلدهای مصرف

هر پاسخ، تعداد توکن‌های نوشته‌شده در کش و توکن‌های خوانده‌شده از آن را گزارش می‌دهد. در این ماجرا، تعداد توکن‌های نوشته‌شده در تمام درخواست‌ها بالاست و توکن‌های خوانده‌شده نزدیک به صفر است. این همان نشانه‌ی کلیدی است. یک درخواست متوالی بعدی با همین پیشوند از کش می‌خواند؛ همین نکته این حالت را از پیشوندی که اصلاً تطابق پیدا نمی‌کند جدا می‌سازد.

راه‌حل

درخواست اول را به‌تنهایی بفرستید و منتظر بمانید تا برگردد. تا آن زمان، نوشتن آن در کش تثبیت شده است. حالا نه درخواست باقی‌مانده را به‌صورت توزیع موازی بفرستید تا تک‌تک آن‌ها از کش بخوانند. هزینه‌ی این کار حدود 300 میلی‌ثانیه تاخیر روی اولین فراخوانی ابزار است. در تمرین درس، همین راه‌حل بدون اضافه‌شدن تاخیر سرتاسری (End-to-end) خواسته شده است: در ابتدای هر نشست (Session)، پیش از اولین توزیع موازی، پیشوند را با یک فراخوانی گرم (Warm) کنید تا اولین فراخوانی ابزار هم مستقیماً از کش بخواند.

رد کردن علت احتمالی دیگر

پیشوندی که متن پویا دارد هم در فیلدهای مصرف رفتار مشابهی نشان می‌دهد: روی همه‌ی درخواست‌ها نوشتن انجام می‌شود و هرگز چیزی خوانده نمی‌شود. در مثال درس، مواردی مثل زمان دقیق تا دقیقه، شناسه‌ی کاربر و جابه‌جاشدنِ ترتیب نمونه‌ها درون پرامپت سیستم وجود داشت. یک گزارش در محیط عملیاتی (Production) نشان داد که با انتقال این متن به زیر مرز کش، نرخ اصابت (Hit Rate) از 7 به 74 درصد رسید. پیش از آنکه توزیع موازی را مقصر بدانید، قالب پرامپت (Prompt template) را بررسی کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چطور تله‌ی توزیع موازی را از وجود متن پویا در پیشوند تشخیص می‌دهید؟ پاسخ مورد انتظار: هر دو حالت فقط نوشتن دارند و خواندنی ثبت نمی‌کنند. اما پس از تله‌ی توزیع موازی، یک درخواست متوالیِ بعدی با همان پیشوند از کش می‌خواند؛ در حالی که با متن پویا، هیچ‌وقت هیچ درخواستی از کش خوانده نمی‌شود.
  • سطح 3: چطور بدون اضافه‌کردن تاخیر برای کاربر، مشکل توزیع موازی را برطرف می‌کنید؟ پاسخ مورد انتظار: پیشوند را در ابتدای نشست با یک فراخوانی گرم کنید تا اولین توزیع موازی هم از کش بخواند.
  • سطح 3: آیا کش پیشوند در حالت خودمیزبان (Self-hosted) هم همین تله را دارد؟ پاسخ مورد انتظار: درس توضیح می‌دهد که کش‌های خودمیزبان نیز با منابع پردازشی خودتان از همین الگوی پیشوند پیروی می‌کنند؛ بنابراین پیش از آنکه فرض کنید کش بین درخواست‌ها به اشتراک گذاشته شده است، توکن‌های کش‌شده را در یک توزیع موازی اندازه بگیرید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کش روشن است، پس ارائه‌دهنده خودش باید درخواست‌های تکراری را یکی کند.» نوشتن‌ها به ازای هر درخواست انجام می‌شوند و خواندن از کش تنها پس از ثبت اولین نوشتن امکان‌پذیر است.
  • «پرامپت سیستم را کوتاه‌تر کنید.» این کار هزینه‌ی هر صورت‌حساب را کمی پایین می‌آورد، اما مشکلِ ده بار نوشتن و صفر بار خواندن را سر جای خود باقی می‌گذارد.
  • «کش را خاموش کنید چون هزینه‌اش بیشتر است.» این قابلیت فقط به‌خاطر الگوی رسیدن درخواست‌ها هزینه‌ی بیشتری تراشیده است. رویکرد اول-یکی-متوالی، ده بار نوشتن را به یک بار نوشتن و نه بار خواندن تبدیل می‌کند.

کجای دوره آموزش داده می‌شود

درس اقتصاد کش پرامپت پادالگوی موازی‌سازی (Parallelization) و راه‌حل آن را معرفی می‌کند، و درس کش کردن پرامپت فیلدهای مصرف را برای بررسی نشان می‌دهد.