سؤال مصاحبه

آستانه‌ی کش پایین‌تر: اصابت بیشتر و پاسخ‌های نادرست

A lower cache threshold hits more and answers wrong

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

کش معنایی (Semantic Cache) شما با آستانه‌ی شباهت 0.95 به 20 درصد از درخواست‌ها پاسخ می‌دهد. یکی از هم‌تیمی‌هایتان در محیط Staging این آستانه را به 0.85 کاهش داده است. نرخ اصابت (Hit Rate) به 50 درصد رسیده، اما چند پاسخ کش‌شده به پرسش کاربر نمی‌خورند. کدام آستانه را به محیط عملیاتی (Production) می‌برید و چطور در این مورد تصمیم می‌گیرید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

آستانه‌ای را روانه‌ی محیط عملیاتی کنید که هزینه‌ی اصابت‌های اشتباهش از عهده‌ی تیم برمی‌آید؛ به‌جای حدس زدن، این عدد را بسنجید. پاسخ کش‌شده‌ی اشتباه خطایی در درستی سیستم است که کاربر مستقیماً آن را می‌بیند، درحالی‌که اصابت نکردن به کش فقط یک فراخوانی مدل هزینه دارد. آستانه‌ی سخت‌گیرانه را روی مسیر عمومی نگه دارید و فقط جاهایی آن را پایین بیاورید که پاسخ‌ها قابل جایگزینی باشند یا ذکر یک سلب مسئولیت (Disclaimer) پذیرفتنی باشد. عددی که ارائه‌دهندگان برای دقت ابزار اعلام می‌کنند نشان می‌دهد اصابت‌ها چند بار مناسب بوده‌اند، نه اینکه ترافیک شما چقدر به کش برخورد می‌کند؛ بنابراین جفت‌های پرسش و پاسخ ترافیک خودتان را در هر دو آستانه برچسب‌گذاری کنید.

پاسخ کامل

دو عددی که با هم اشتباه گرفته می‌شوند

نرخ اصابت، سهمی از درخواست‌هاست که از طریق کش پاسخ داده می‌شوند. دقت یک اصابت، یعنی اینکه آیا پاسخ ذخیره‌شده به پرسش جدید می‌خورد یا نه. این درس گوشزد می‌کند که ادعای ارائه‌دهندگان درباره‌ی دقت، مربوط به درستی تطابق است؛ درحالی‌که نرخ اصابت در محیط عملیاتی داده‌ای تله‌متری از سوی جامعه‌ی کاربری است که دامنه‌اش از حدود 10 درصد در گفت‌وگوهای آزاد تا حدود 70 درصد در پشتیبانی‌های ساختاریافته متغیر است.

هزینه‌ی هر خطا

اصابت نکردن به کش هزینه‌ای برابر با یک فراخوانی مدل دارد که رقم دقیق آن را تا آخرین سنت می‌دانید. اما اصابت اشتباه هزینه‌ی سنگین‌تری دارد: تحویل پاسخ غلط به کاربر، ثبت تیکت پشتیبانی و خدشه‌دار شدن بخشی از اعتماد او؛ عددی که فقط تیم محصول می‌تواند رویش قیمت بگذارد. انتخاب میان این دو آستانه در واقع معامله‌ی یکی در ازای دیگری است.

تصمیم‌گیری با جفت‌های برچسب‌خورده

نمونه‌هایی از جفتِ «پرسش جدید» و «پاسخ کش‌شده‌ای که در هر آستانه دریافت می‌کند» بردارید. هر جفت را بررسی کرده و برچسب بزنید که آیا مناسب است یا نه. حالا در دو آستانه‌ی 0.85 و 0.95، نرخ اصابت و دقت اصابت‌ها را در دست دارید. صرفه‌جویی مورد انتظار برابر است با حاصل‌ضرب نرخ اصابت در هزینه‌ی فراخوانی. آسیب مورد انتظار نیز برابر است با نرخ اصابت‌های نادرست در هزینه‌ی تحویل پاسخ اشتباه. آستانه‌ای را به محیط عملیاتی ببرید که عدد دوم برای مالک محصول (Product Owner) پذیرفتنی باشد.

طرح دومرحله‌ای

تمرین درس قبلیِ کش‌سازی از دو آستانه استفاده می‌کند: اصابت‌های 0.98 فوراً بازگردانده می‌شوند، و اصابت‌های 0.90 همراه با یک سلب مسئولیت ارسال می‌شوند که می‌گوید پاسخ از یک پرسش مشابه قبلی آمده است. لایه‌ای را که به هر اصابت پاسخ داده ثبت (Log) کنید و میزان رضایت را در هر لایه بسنجید. این کار مسیر سخت‌گیرانه را دست‌نخورده نگه می‌دارد و در عین حال بردهای ارزان را هم نصیب‌تان می‌کند.

چرا بعضی بارهای کاری نمی‌توانند آستانه را پایین بیاورند؟

پرسش‌های مربوط به کد در بهترین حالت 20 تا 30 درصد به کش برخورد می‌کنند، زیرا تغییر کوچکی در پرسشِ کدنویسی، پاسخ درست را عوض می‌کند؛ آنجا متن‌های تقریباً یکسان، نیت (Intent) یکسانی ندارند. در مقابل، ایجنت‌های (Agent) صوتی با مجموعه‌پرامپت‌های ثابت به 50 تا 80 درصد می‌رسند، چون پرسش‌ها واقعاً تکرار می‌شوند.

بررسی‌های پیش از اعمال آستانه

ابتدا کش تطابق دقیق (Exact-match) را اجرا کنید؛ تکرارهای بایت‌به‌بایت نیازی به امبدینگ (Embedding) ندارند. طول عمری (TTL) تعیین کنید تا پاسخ‌های کهنه منقضی شوند. هزینه‌ی امبدینگ ناچیز است؛ این درس هزینه‌ی هر یک میلیون توکن (Token) را برای یک مدل امبدینگ کوچک حدود 0.02 دلار برآورد می‌کند، بنابراین اهرم اصلی تصمیم‌گیری آستانه است، نه قبض مدل امبدینگ.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا رقم دقت ارائه‌شده در کاتالوگ شرکت‌ها همان نرخ اصابت شما نیست؟ پاسخ مورد انتظار: دقت می‌گوید پاسخ‌های بازگردانده‌شده در چند درصد موارد مناسب بوده‌اند. نرخ اصابت می‌گوید چند درصد درخواست‌ها اصلاً به کش خورده‌اند، که مستقیماً به ترافیک شما بستگی دارد.
  • سطح 2: اصابت نکردن به کش چقدر هزینه دارد و اصابت نادرست چقدر؟ پاسخ مورد انتظار: اصابت نکردن به اندازه‌ی یک فراخوانی مدل هزینه دارد. اصابت نادرست هزینه‌ی تحویل پاسخ غلط به کاربر را به بار می‌آورد که تیم محصول باید برای آن قیمت تعیین کند.
  • سطح 3: چطور بدون کاهش درستیِ مسیر سخت‌گیرانه، آستانه را پایین بیاوریم؟ پاسخ مورد انتظار: با یک طرح دومرحله‌ای؛ تطابق‌های دقیق بدون تغییر ارسال شوند و تطابق‌های متوسط با ذکر سلب مسئولیت به دست کاربر برسند؛ ضمن اینکه لایه‌ی پاسخ ثبت شود تا بتوان رضایت کاربران را مقایسه کرد.
  • سطح 3: چرا پرسش‌های حوزه‌ی کدنویسی این‌قدر کم به کش برخورد می‌کنند؟ پاسخ مورد انتظار: یک تغییر جزئی در پرسشِ کدنویسی پاسخ درست را عوض می‌کند؛ بنابراین متن‌های مشابه نیت مشابهی ندارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «آستانه را پایین بیاورید تا صرفه‌جویی بیشتر شود.» اصابت نادرست نقض درستی سیستم است که کاربر آن را می‌بیند. هزینه‌ی آن یک فراخوانی مدل نیست.
  • «آستانه را آن‌قدر بالا ببرید که هیچ اصابت نادرستی پیش نیاید.» در این حالت نرخ اصابت تا حد تطابق دقیق پایین می‌آید و کش دیگر هزینه‌ی خودش را هم درنمی‌آورد.
  • «از همان درصد دقت ارائه‌دهنده به‌عنوان نرخ اصابت استفاده کنید.» آن عدد درستی تطابق را بیان می‌کند، نه فراوانی برخورد ترافیک شما با کش را.

کجای دوره آموزش داده می‌شود

درس اقتصاد کش‌سازی دقت تطابق را از نرخ اصابت تفکیک می‌کند و چالش انتخاب آستانه را پیش می‌کشد، و درس کش‌سازی و هزینه‌ها آستانه‌های دومرحله‌ای را می‌سازد.