سؤال مصاحبه

برآورد هزینه‌ی ماهانه‌ی یک قابلیت چت

Project the monthly bill of a chat feature

  • سطح ۲: میانی
  • تخمین
  • ۱۰ دقیقه

یک قابلیت چت قرار است روزانه 10,000 کاربر فعال داشته باشد که هر کدام 5 پرسش ارسال می‌کنند. هر پرسش تقریباً 1,500 توکن (Token) ورودی و 400 توکن خروجی دارد؛ با هزینه‌ی 2.50 دلار به‌ازای هر یک میلیون توکن ورودی و 10.00 دلار به‌ازای هر یک میلیون توکن خروجی. داده‌های اندازه‌گیری‌شده‌ی کش، نرخ اصابت (Hit Rate) 35 درصدی را نشان می‌دهند. گام‌های محاسبه‌ی هزینه‌ی ماهانه را شرح دهید و بگویید ابتدا سراغ کدام عدد برای کاهش هزینه می‌روید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کل ترافیک روزانه 50,000 پرسش است و با نرخ اصابت 35 درصدی کش، 32,500 پرسش به مدل می‌رسد. در طول 30 روز، این میزان برابر با 3,656 دلار برای توکن‌های ورودی و 3,900 دلار برای توکن‌های خروجی است که در مجموع حدود 7,556 دلار در ماه می‌شود. در مقابل، این هزینه بدون کش 11,625 دلار بود؛ یعنی کش حدود 4,070 دلار صرفه‌جویی می‌کند. از آنجا که قیمت هر توکن خروجی چهار برابر توکن ورودی است، بعد از نرخ اصابت، طول خروجی عددی است که باید هدف قرار دهید؛ آن هم با تعیین سقف حداکثر توکن خروجی و نوشتن پرامپت‌های جمع‌وجورتر.

پاسخ کامل

جدول متغیرها

متغیر مقدار
کاربران فعال روزانه 10,000
پرسش به‌ازای هر کاربر در روز 5
توکن‌های ورودی هر پرسش 1,500
توکن‌های خروجی هر پرسش 400
قیمت هر یک میلیون توکن ورودی $2.50
قیمت هر یک میلیون توکن خروجی $10.00
نرخ اصابت کش 35%
پرسش‌های مؤثر روزانه 32,500

ورودی: 32,500 پرسش روزانه ضربدر 1,500 توکن ضربدر 30 روز، تقسیم بر یک میلیون، ضربدر 2.50 دلار، برابر با 3,656 دلار می‌شود. خروجی: همین محاسبه با 400 توکن و 10.00 دلار، 3,900 دلار به دست می‌دهد. جمع کل برابر با 7,556 دلار در ماه است.

چرا نقش کش این‌قدر پررنگ است؟

همین حجم ترافیک بدون کش 11,625 دلار هزینه دارد. نرخ اصابت 35 درصدی، 35 درصد از فراخوانی‌های مدل را حذف می‌کند، بنابراین 35 درصد از هزینه‌ی توکن‌ها کم می‌شود. کش با جست‌وجوی امبدینگ (Embedding)، یک آستانه‌ی (Threshold) شباهت و مدت‌زمان اعتبار (TTL) کار می‌کند؛ در نتیجه دو نگارش متفاوت از یک سؤال، یک پاسخ مشترک می‌گیرند. نرخ اصابت هم بر اساس متریک‌های واقعی کش اندازه‌گیری شده است، نه بر مبنای حدس و گمان.

کدام عدد را باید ابتدا هدف گرفت؟

  • اول، نرخ اصابت: هر درصد افزایش در نرخ اصابت، یک درصد از کل صورت‌حساب کم می‌کند.
  • دوم، طول خروجی: قیمت توکن‌های خروجی چهار برابر توکن‌های ورودی است و تعیین سقف حداکثر توکن‌های خروجی برای هر قالب پرامپت (Prompt template)، بدترین سناریوی هزینه را مهار می‌کند.
  • سوم، طول ورودی: پرامپت سیستمی و بافتار بازیابی‌شده در تک‌تک فراخوانی‌ها تکرار می‌شوند؛ کش کردن پرامپت (Prompt caching) برای پیشوندهای ثابت در سمت ارائه‌دهنده و بازیابی (Retrieval) دقیق‌تر، این بخش را کاهش می‌دهد.
  • در آخر، مسیریابی مدل (Model Routing): هدایت پرامپت‌های ساده به مدل‌های کوچک‌تر هزینه‌ی هر توکن را پایین می‌آورد؛ البته همراه با ارزیابی برای اطمینان از حفظ کیفیت.

خطاهای احتمالی این برآورد کجاست؟

میانگین‌ها رفتار دم توزیع را پنهان می‌کنند. چند کاربر که متن‌های طولانی پیست می‌کنند یا اسکریپت اجرا می‌کنند، می‌توانند بخش اعظم صورت‌حساب را بسازند. به همین دلیل در چک‌لیست محیط عملیاتی (Production)، هزینه به‌ازای هر کاربر و به‌ازای هر درخواست رصد می‌شود؛ و در سناریوی هشدار هزینه، کاربر پرمصرف پس از عبور از یک آستانه‌ی روزانه به مدلی ارزان‌تر هدایت می‌شود. در داشبورد این درس، هدف‌گذاری رسیدن به هزینه‌ی زیر 0.01 دلار به‌ازای هر درخواست است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام تک‌متریک روی داشبورد نشان می‌دهد که این برآورد همچنان معتبر است؟ پاسخ مورد انتظار: هزینه‌ی هر درخواست؛ این متریک تعداد توکن‌ها و قیمت‌ها را ترکیب می‌کند و هدف آن زیر 0.01 دلار است.
  • سطح 2: نرخ اصابت کش پس از تغییر در قالب پرامپت به صفر می‌رسد. چرا؟ پاسخ مورد انتظار: کلید کش، امبدینگ پرسش است و پاسخ با قالب قبلی تولید شده بود؛ در نتیجه داده‌های قدیمی نامعتبر شده‌اند یا مدت‌زمان اعتبار (TTL) آن‌ها را پاک کرده است.
  • سطح 3: کش کردن پرامپت روی پیشوند ثابت چه تغییری در سطر ورودی ایجاد می‌کند؟ پاسخ مورد انتظار: پرامپت سیستمی و دستورالعمل‌های ثابت در تکرارها با تخفیف محاسبه می‌شوند؛ بنابراین هزینه‌ی مؤثر ورودی به‌ازای هر پرسش بدون تغییر در تعداد توکن‌ها افت می‌کند.
  • سطح 3: سقف روزانه برای هر کاربر جلوی چه چیزی را می‌گیرد که هدف هزینه‌ی هر درخواست نمی‌تواند؟ پاسخ مورد انتظار: هزینه‌ی کلِ ناشی از یک کاربر بسیار پرمصرف؛ تعداد زیادی درخواست ارزان‌قیمت هم در نهایت صورت‌حساب سنگینی می‌سازند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تعداد کاربران را در هزینه‌ی هر کاربر از صفحه‌ی قیمت ارائه‌دهنده ضرب می‌کنیم.» صورت‌حساب از توکن‌های هر پرسش، پرسش‌های هر کاربر و نرخ اصابت به دست می‌آید و هرکدام جداگانه سنجیده می‌شوند.
  • «کش کردن فقط در تکرارهای دقیقاً یکسان هزینه را کاهش می‌دهد.» کش معنایی (Semantic Cache) پرسش‌های مشابه را بر اساس امبدینگ تطبیق می‌دهد؛ به همین دلیل نرخ اصابت به یک‌سوم کل ترافیک می‌رسد.
  • «بخش عمده‌ی هزینه مربوط به توکن‌های ورودی است چون تعدادشان بیشتر است.» با این قیمت‌ها و طول‌ها، سطر هزینه‌ی خروجی رقم بالاتری دارد، هرچند تعداد توکن‌های خروجی کمتر است.

کجای دوره آموزش داده می‌شود

درس برنامه‌ی کاربردی LLM در محیط عملیاتی به‌طور کامل مراحل این برآورد هزینه و داشبورد متریک‌های آن را آموزش می‌دهد.