سؤال مصاحبه

شبیه‌ساز انتساب و مهار هزینه بسازید

Build a cost attribution and enforcement simulator

  • سطح ۴: استف
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

پروژه‌ی عملی. لاگ درخواست‌های یک روزِ دستیاری چندمستأجره (multi-tenant) به دست شما رسیده است. هر رکورد، الگوی ردگیری محاسبات (trace) انتساب درس را دنبال می‌کند: شناسه‌ی ردگیری (trace id)، برچسب زمانی، مستأجر، کاربر، شناسه‌ی وظیفه (task id) و مسیرش، مدل، تعداد توکن‌ها برای هر یک از چهار لایه‌ی ردگیری، وضعیت کش‌شدن ورودی و وضعیت حل‌شدن وظیفه. علاوه‌بر این، هزینه‌ی روزانه‌ی هر مستأجر در هفته‌های گذشته نیز به‌عنوان خط مبنا (baseline) سوییچ قطع اضطراری (kill switch) در اختیارتان قرار گرفته است. شبیه‌سازی بسازید که هزینه را بر اساس مستأجر، وظیفه و کاربر تفکیک کند، توکن‌ها را به لایه‌های مختلف بشکند، هزینه‌ی هر وظیفه‌ی حل‌شده را برای هر مستأجر به دست آورد و یک محدودیت نرخ درخواست (rate limit)، سقف هزینه‌ی روزانه و یک سوییچ قطع اضطراری اعمال کند. رفتار یک مستأجر پرمصرف و مخرب را تزریق کنید و نشان دهید هر سازوکار کنترلی چه زمانی فعال می‌شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هزینه‌ی هر فراخوانی را بر اساس جدول قیمت‌گذاری محاسبه کنید؛ سپس هزینه‌ها را به تفکیک مستأجر، وظیفه (همراه با مسیرش) و کاربر تجمیع کنید. توکن‌ها را به پرامپت (prompt)، ابزار، حافظه و پاسخ تقسیم کنید تا گزارش مشخص کند کدام لایه بار اصلی هزینه‌ی هر مستأجر را می‌سازد. هزینه‌ی هر وظیفه‌ی حل‌شده را از روی فیلد نتیجه حساب کنید، نه از مجموع توکن‌ها. نردبان مهار هزینه (enforcement ladder) مطرح‌شده در درس را پیاده کنید: محدودیت نرخ درخواست روی 2 تا 3 برابر اوج مصرف موردانتظار، سقف روزانه روی 1.5 تا 3 برابر سقف قراردادی، و سوییچ قطع اضطراری بر اساس z-score هزینه‌ی بالای 4 نسبت به خط مبنای اختصاصی همان مستأجر. نشان دهید که مستأجر مخرب ابتدا به محدودیت نرخ درخواست، سپس به سقف روزانه و در نهایت، وقتی هزینه‌اش جهش شدیدی نسبت به سوابقش نشان می‌دهد، به سوییچ قطع اضطراری برخورد می‌کند.

پاسخ کامل

ارائه‌ی کامل شامل چه مواردی است

  1. محاسبه‌ی هزینه‌ی تک‌تک فراخوانی‌ها. جدول قیمت‌گذاری همراه با هزینه‌ی ورودیِ کش‌شده (همان‌طور که در درس کشینگ ساخته شد) و تابعی که تعداد توکن‌ها را در هر فراخوانی به دلار تبدیل کند.
  2. انتساب در سه بعد. تفکیک هزینه بر اساس مستأجر، وظیفه و مسیر، و کاربر؛ که با شناسه‌ی ردگیری به هم پیوند می‌خورند، دقیقاً مطابق الگوی اتصال با تله‌متری (telemetry joiner). هیچ آماری نباید پس از پایان کار حدس زده شود.
  3. چهار لایه‌ی توکن. سهم درصدیِ توکن‌های پرامپت، ابزار، حافظه و پاسخ به‌ازای هر وظیفه. بازه‌های معمول درس معیاری برای اعتبارسنجی منطقی هستند: پرامپت 40 تا 60 درصد، ابزار 20 تا 40 درصد در کارهای مبتنی بر ایجنت (agent)، حافظه و پاسخ هر کدام 10 تا 30 درصد.
  4. سنجه‌ی واحد هزینه. برای هر مستأجر و هر قابلیت، تقسیم هزینه‌ی کل بر وظایفِ حل‌شده، برگرفته از فیلد وضعیت حل مسئله. وظیفه‌ای که حل نشده هم هزینه داشته و اهمیت این سنجه دقیقاً در دیدن همین واقعیت است.
  5. نردبان مهار هزینه. محدودیت نرخ درخواست با کد 429 و هدر تلاش مجدد (retry header) پاسخ می‌دهد. سقف مصرف، محدودیت نرخ را سخت‌گیرانه‌تر کرده و هشدار ثبت می‌کند. سوییچ قطع اضطراری، دسترسی مستأجر را متوقف می‌کند و پیج می‌زند (page).
  6. مستأجر تزریق‌شده. خط زمانی هزینه‌هایش و سازوکار کنترلی فعال‌شده در هر نقطه، همراه با نمودار z-score در برابر آستانه (threshold).
  7. پنج نمای اول داشبورد. تمرین درس این پنج مورد را خواسته است. یک پاسخ قوی شامل این موارد است: هزینه‌ی هر مستأجر در طول زمان، هزینه‌ی هر مستأجر تقسیم بر وظایف حل‌شده، سهم لایه‌ها به‌ازای هر وظیفه، کاربران با بیشترین هزینه، و رویدادهای مهار هزینه.

ارزیاب چه مواردی را بررسی می‌کند

  • برچسب‌های انتساب هزینه در زمان ایجاد درخواست ثبت شوند و با شناسه‌ی ردگیری به هم متصل شوند، نه این‌که از روی قبض نهایی حدس زده شوند.
  • لایه‌ها مجزا باشند و گزارش نشان دهد که برای مهار مصرفِ هر مستأجر سنگین‌مصرف، باید کدام لایه اصلاح شود.
  • سنجه‌ی واحد هزینه به یک نتیجه گره خورده باشد.
  • سوییچ قطع اضطراری نسبت به خط مبنای خود مستأجر تنظیم شود و آستانه‌ی انتخابی توجیه منطقی داشته باشد؛ مسئله‌ای که تمرین اول درس است.
  • ترتیب سازوکارهای کنترلی توضیح داده شود: ابتدا اصطکاک (friction)، و تعلیق در گام آخر.

محورهای تحلیل در گزارش متنی

تمرین سوم درس: حاشیه‌ی سود بزرگ‌ترین مستأجر منفی است. سه راه‌کار را به ترتیب اثر روی مشتری پیشنهاد کنید؛ برای نمونه: ابتدا کشینگ و مسیریابی (routing) روی سنگین‌ترین وظیفه‌ی آن‌ها، سپس تغییر سهمیه (quota)، و در نهایت تغییر قیمت در زمان تمدید قرارداد. سپس تحلیل کنید که آیا برچسب‌گذاری گذشته‌نگر (retroactive tagging) اصلاً شدنی است یا خیر؛ سؤالی که تمرین پایانی درس مطرح می‌کند. پاسخ واقع‌بینانه این است: این روش فقط خلأ داده‌های قدیمی را پر می‌کند و همیشه مواردی را از قلم می‌اندازد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا سوییچ قطع اضطراری به‌جای یک رقم ثابت، بر اساس تاریخچه‌ی هر مستأجر سنجیده می‌شود؟ پاسخ مورد انتظار: حجم مصرف مستأجران چندین مرتبه‌ی بزرگی با هم فرق دارد. یک رقم ثابت، دسترسی یک مستأجر بزرگ را در یک روز معمولی قطع می‌کند، اما برای یک مستأجر کوچک هرگز فعال نمی‌شود.
  • سطح 4: بزرگ‌ترین مستأجر شما در گزارش زیان‌ده است؛ چه پیشنهادی دارید؟ پاسخ مورد انتظار: سه راه‌کار به ترتیب اثر روی مشتری: ابتدا کشینگ و مسیریابی روی سنگین‌ترین وظیفه‌اش، سپس تغییر سهمیه، و در آخر تغییر قیمت در زمان تمدید قرارداد.
  • سطح 4: کدام پنج نما را ابتدا روی داشبورد می‌گذارید؟ پاسخ مورد انتظار: هزینه‌ی هر مستأجر در طول زمان، هزینه‌ی هر مستأجر تقسیم بر وظایف حل‌شده، سهم لایه‌ها به‌ازای هر وظیفه، کاربران با بیشترین هزینه، و خط زمانی رویدادهای مهار هزینه.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تقسیم قبض کل بر تعداد صندلی‌ها (کاربران).» این کار مستأجران سنگین‌مصرف و قابلیت‌های هزینه‌بر را مخفی می‌کند؛ درست برعکس هدف این تمرین.
  • «یک سطل توکن (token bucket) برای همه‌چیز.» یک سطل واحد نمی‌تواند مشخص کند کدام لایه یا مستأجر نیاز به اصلاح دارد، و امکان اعمال سقف مصرف به‌ازای هر مستأجر را هم ندارد.
  • «فعال‌کردن سوییچ قطع اضطراری روی یک رقم دلاری ثابت.» مرتبه‌ی بزرگی مستأجران با هم فرق دارد. یک رقم ثابت به‌جز برای یکی از آن‌ها، برای بقیه کاملاً غلط است.

کجای دوره آموزش داده می‌شود

درس FinOps برای LLMها ابعاد انتساب هزینه، لایه‌های توکن و نردبان مهار هزینه را تعریف می‌کند، و درس کشینگ و هزینه جدول قیمت‌گذاری و ردیاب هزینه را ارائه می‌دهد.