سؤال مصاحبه

سنجه‌ای که باید به‌جای قیمت توکن به تیم مالی ارائه داد

The metric to give finance instead of a token price

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

تیم مالی «هزینه به‌ازای هر یک میلیون توکن» را به‌عنوان سنجه‌ی کلیدی سرویس مدل می‌خواهد. شما مخالفت می‌کنید و push back می‌دهید. به‌جای آن چه سنجه‌ای پیشنهاد می‌کنید و در هر فراخوانی چه مواردی باید ثبت شوند تا بتوانید آن را محاسبه کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هزینه به‌ازای هر نتیجه‌ی محصولی را پیشنهاد دهید: به‌ازای هر تیکت حل‌شده، هر مقاله‌ی تولیدشده، هر وظیفه‌ی موفق ایجنت یا هر دقیقه از نشست (session). قیمت به‌ازای هر یک میلیون توکن، واحد فروشنده (ارائه‌دهنده) است و هیچ توضیحی نمی‌دهد که آیا این هزینه اصلاً خروجی مفیدی داشته است یا خیر. برای محاسبه‌ی سنجه‌ی نتیجه، در همان لحظه‌ی ایجاد هر فراخوانی، شناسه‌ی کاربر، شناسه‌ی وظیفه به‌همراه مسیر (route) آن و شناسه‌ی مستأجر (tenant id) را ثبت کنید؛ توکن‌ها را به چهار بخش پرامپت، ابزار، حافظه و پاسخ تفکیک کنید؛ و در نهایت هزینه را به رخدادِ نتیجه متصل کنید.

پاسخ کامل

چرا قیمت توکن گمراه‌کننده است

مدل ارزان‌تری که برای هر وظیفه به دو برابر توکن نیاز دارد، در نهایت هزینه‌ی بالاتری برای هر وظیفه روی دستتان می‌گذارد. تغییر پرامپتی که مصرف توکن را کاهش می‌دهد اما نرخ حل موفق مسئله را پایین می‌آورد، هزینه‌ی هر تیکت حل‌شده را بالا می‌برد؛ آن هم در حالی که داشبورد توکن‌ها همه چیز را سبز و مطلوب نشان می‌دهد. قاعده‌ی این درس پیوند زدن هزینه به نتیجه‌ی محصولی است؛ زیرا بهینه‌سازی بدون چنین تکیه‌گاهی هیچ جهت مشخصی ندارد.

سه بُعد انتساب هزینه

بُعد کلید به چه سؤالی پاسخ می‌دهد
به‌ازای کاربر user_id چه کسی چقدر هزینه دارد؛ برای قیمت‌گذاری بر اساس کاربر و شناسایی سوءاستفاده
به‌ازای وظیفه task_id و route کدام بخش محصول چقدر هزینه دارد
به‌ازای مستأجر tenant_id کدام مشتری سودده است

هر سه مورد را از همان روز اول در محل فراخوانی پیاده‌سازی و ثبت کنید. اقلام صورت‌حساب ارائه‌دهنده هیچ‌کدام از این اطلاعات را ندارند و برچسب‌گذاریِ پسینی و با عطف‌به‌ماسبق همیشه مواردی را از قلم می‌اندازد.

چهار لایه‌ی توکن

لایه سهم معمول
پرامپت: متن سیستم و ورودی کاربر 40 تا 60 درصد
ابزار: نتایجی که دوباره به بستر (context) بازگردانده می‌شوند 20 تا 40 درصد در بار کاریِ ایجنت‌ها
حافظه: نوبت‌های پیشین گفت‌وگو و اسناد بازیابی‌شده 10 تا 30 درصد
پاسخ: خروجی مدل 10 تا 30 درصد

اگر همه‌چیز را در یک سبد مشترک بریزید، مشخص نمی‌شود هزینه‌ها از کدام لایه آب می‌خورد و در نتیجه نمی‌توانید اهرم بهینه‌سازی مناسب را انتخاب کنید.

داده‌هایی که در هر فراخوانی ثبت می‌شوند

ردگیری محاسبات (trace) شامل این موارد است: شناسه‌ی ردگیری (trace ID)، کلیدهای سه‌گانه‌ی ابعاد، تعداد توکن‌های چهار لایه، هزینه، و دو پرچم (flag): یکی برای ورودی کَش‌شده و دیگری برای فراخوانی دسته‌ای (batch). دقیق‌ترین الگوی انتساب هزینه، اتصال این ردگیری‌ها به خروجیِ صورت‌حساب بر اساس شناسه‌ی ردگیری است؛ رویکردی که در این درس اتصال با تله‌متری (telemetry joiner) نام دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا قیمت توکن به‌تنهایی گمراه‌کننده است؟ پاسخ مورد انتظار: این سنجه هیچ دیدی درباره‌ی تعداد توکن مصرفی به‌ازای هر نتیجه نمی‌دهد. مدل ارزان‌تری که برای تکمیل هر وظیفه دو برابر توکن مصرف می‌کند، در کل هزینه‌ی بیشتری به‌ازای هر وظیفه تحمیل خواهد کرد.
  • سطح 2: چرا باید توکن‌ها را به چهار لایه تفکیک کرد؟ پاسخ مورد انتظار: تجمیع آن‌ها در یک سبد واحد این مسئله را پنهان می‌کند که بادکردگی پرامپت، خروجی ابزارها، حافظه یا متن خروجی مدل باعث تحمیل هزینه شده است؛ بنابراین نمی‌توانید راهکار درستی را برای رفع مشکل برگزینید.
  • سطح 2: چرا مشخصات باید هنگام فراخوانی ثبت شوند و نباید برچسب‌گذاری را به زمان بررسی صورت‌حساب موکول کرد؟ پاسخ مورد انتظار: ردیف‌های صورت‌حساب ارائه‌دهنده هیچ نشانی از کاربر، وظیفه یا مستأجر ندارند و تلاش برای انتساب هزینه پس از ثبت رخدادها همیشه خطای آماری و جاافتادگی به همراه دارد.
  • سطح 3: دقیق‌ترین الگوی انتساب هزینه کدام است و چه پیش‌نیازهایی دارد؟ پاسخ مورد انتظار: اتصال با تله‌متری که شناسه‌های ردگیری را به سیستم صورت‌حساب وصل می‌کند. این روش مستلزم ثبت شناسه‌ی ردگیری در تک‌تک فراخوانی‌ها و ارائه‌ی خروجی صورت‌حساب با همین کلید است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ما برای توکن‌ها پول می‌دهیم، پس سنجه‌ی ما هم باید توکن باشد.» توکن‌ها واحد فروشنده‌اند. کسب‌وکار برای نتایج پول می‌دهد و توکن ارزان‌تر می‌تواند به معنای وظیفه‌ی گران‌تر تمام شود.
  • «صورت‌حساب ابری را هم مثل بقیه‌ی منابع بر اساس تیم‌ها برچسب‌گذاری کنید.» فراخوانی مدل یک تراکنش است، نه یک دارایی. در ردیف‌های صورت‌حساب اثری از تیم مجری نیست مگر اینکه در خودِ فراخوانی ثبت شده باشد.
  • «هزینه‌ی به‌ازای هر مستأجر کافی است.» هزینه‌ی هر وظیفه مشخص می‌کند کدام ویژگی محصول نیاز به بازبینی دارد و هزینه‌ی هر کاربر الگوهای سوءاستفاده را نشان می‌دهد. در این درس هر سه بُعد ثبت می‌شوند.

کجای دوره آموزش داده می‌شود

درس FinOps برای مدل‌های زبانی بزرگ (FinOps for LLMs) که هزینه‌ی هر نتیجه را جایگزین قیمت توکن می‌کند و ابعاد و لایه‌های انتساب هزینه را تعریف می‌نماید.