سؤال مصاحبه

پرداخت بر اساس توکن یا دقیقه‌ای برای بار کاری روزانه

Per-token or per-minute billing for a daytime load

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

دو پلتفرم استنتاج برای یک مدل باز مشابه به شما قیمت داده‌اند. یکی بر اساس هر میلیون توکن هزینه می‌گیرد و دیگری یک GPU اختصاصی را دقیقه‌ای اجاره می‌دهد. ترافیک شما در طول روز کاری یکنواخت و شب‌ها تقریباً صفر است. کدام مدل قیمت‌گذاری برنده می‌شود و چه عددی این موضوع را تعیین می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

میزان استفاده‌ی مداوم (Sustained utilization) تعیین‌کننده‌ی نهایی است. در پرداخت بر اساس توکن (Per-token)، فقط هزینه‌ی مصرف واقعی را می‌پردازید؛ بنابراین وقتی ترافیک نوسانی یا پایین است و GPU اختصاصی قرار است بیکار بماند، این گزینه برنده می‌شود. در مقابل، پرداخت دقیقه‌ای (Per-minute) بر اساس زمان واقعی (wall-clock) محاسبه می‌شود؛ پس به‌محض اینکه بتوانید GPU را مشغول نگه دارید، این مدل برنده خواهد بود. قاعده‌ی سرانگشتی درس نشان می‌دهد که نقطه‌ی سربه‌سر حدود 30 درصد استفاده‌ی مداوم است. باری که فقط در طول روز اجرا می‌شود درست نزدیک همین مرز قرار می‌گیرد؛ بنابراین پیش از امضای قرارداد، میزان استفاده‌تان را در طول یک هفته‌ی کامل اندازه بگیرید.

پاسخ کامل

دو تابع هزینه برای یک خروجی

قیمت‌گذاری بر اساس توکن بازتابی از منحنی بهره‌وری خود پلتفرم میان همه‌ی مشتریانش است و شما هزینه‌ای بابت زمان بیکاری نمی‌پردازید. قیمت‌گذاری بر اساس دقیقه یا ثانیه نشان‌دهنده‌ی استفاده‌ی اختصاصی است: GPU در اختیار شماست و چه درخواستی برسد چه نرسد، کنتور هزینه می‌اندازد. خروجی کار—یعنی پاسخ مدل—در هر دو حالت یکسان است.

نقطه‌ی سربه‌سر

درس اقتصاد استنتاج این قاعده را بیان می‌کند: با عبور از حدود 30 درصد استفاده‌ی مداوم از یک GPU اختصاصی، پرداخت دقیقه‌ای از پرداخت توکنی جلو می‌زند. پایین‌تر از این حد، پرداخت توکنی برنده است چون پولی بابت بیکاری سرور نمی‌دهید. درس مربوط به پلتفرم‌های مدیریت‌شده همین الگو را برای ظرفیت رزروشده (Reserved capacity) روی یک ارائه‌دهنده‌ی مقیاس‌بزرگ (Hyperscaler) نشان می‌دهد: نقطه‌ی سربه‌سر حدود 40 تا 60 درصد استفاده‌ی مداوم قرار دارد، صرفه‌جویی در استفاده‌های بالا تا 70 درصد می‌رسد، و ظرفیت رزروشده حتی در زمان بیکاری هم هزینه برمی‌دارد.

محاسبه برای ترافیک واقعی خودتان

  1. تعداد درخواست‌های هر ساعت از شبانه‌روز را در طول یک هفته، همراه با تعداد توکن‌های هر درخواست به دست آورید.
  2. صورت‌حساب بر اساس توکن برابر است با مجموع توکن‌ها ضربدر نرخ هر توکن.
  3. صورت‌حساب دقیقه‌ای برابر است با ساعات اجاره ضربدر نرخ ساعتی؛ یعنی تمام ساعات شبانه‌روز، مگر اینکه شب‌ها ظرفیت را به صفر برسانید (Scale to zero) که این کار هم هر روز صبح یک شروع سرد (Cold start) به همراه دارد.
  4. میزان استفاده برابر است با زمان مشغول بودن سیستم تقسیم بر کل زمان اجاره‌شده. این عدد را با نقطه‌ی سربه‌سر مقایسه کنید.

مواردی که قیمت اولیه نشان نمی‌دهد

  • ظرفیت اختصاصی مانع از ماندن در صف کاربران دیگر می‌شود. درس پلتفرم‌های مدیریت‌شده نشان می‌دهد که میانه‌ی زمان تا اولین توکن برای یک کلاس مدل یکسان، روی ظرفیت رزروشده کمتر از حالت اشتراکی درخواستی (On-demand) است.
  • یک مدل فاین‌تیون‌شده (Fine-tuned) می‌تواند قیمت بر اساس توکن را تغییر دهد. یکی از پلتفرم‌های بررسی‌شده در درس، مدل فاین‌تیون‌شده را با همان نرخ مدل پایه ارائه می‌دهد که یک مزیت رقابتی است. در طرف مقابل، GPU اختصاصی در هر صورت با همان نرخ ساعتی یکسان سرویس می‌دهد.
  • کارهای غیرتعاملی گزینه‌ی سومی هم دارند: لایه‌ی پردازش دسته‌ای (Batch tier) با قیمتی حدود نصف نرخ بدون سرور (Serverless).

یک راهکار ترکیبی

برای کف ترافیک روزانه یک ظرفیت اختصاصی اجاره کنید و ترافیک سرریز و پردازش دسته‌ای شبانه را به پرداخت توکنی یا قیمت‌گذاری دسته‌ای بفرستید. با این روش، میزان استفاده از بخش اختصاصی بالا می‌ماند و بابت جهش‌های ناگهانی ترافیک هم هزینه‌ی بیکاری GPU نمی‌پردازید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا در استفاده‌های بالا، قیمت‌گذاری توکنی گران‌تر از هزینه‌ی زمان GPU اختصاصی خودتان تمام می‌شود؟ انتظار می‌رود پاسخ دهید: حاشیه‌ی سود پلتفرم و زمان بیکاری آن در نرخ توکن لحاظ شده است. در استفاده‌های بالا در واقع دارید پول زمان بیکاری را می‌دهید که خودتان ندارید.
  • سطح 2: وقتی GPU اختصاصی را شب‌ها به صفر برسانید، چه چیزی تغییر می‌کند؟ انتظار می‌رود پاسخ دهید: دیگر هزینه‌ای بابت شب نمی‌پردازید اما هر روز صبح یک شروع سرد می‌خرید؛ بنابراین بهای نخستین درخواست‌های روز با تاخیر (Latency) پرداخته می‌شود.
  • سطح 3: چرا گزینه‌ی اختصاصی در زمان‌های بیشینه‌ی تاخیر (دم توزیع / Tail) سریع‌تر است؟ انتظار می‌رود پاسخ دهید: ظرفیت اشتراکی درخواستی با ترافیک بقیه‌ی مشتریان رقابت می‌کند، اما ظرفیت اختصاصی رقابتی ندارد. این همان فاصله‌ای است که درس پلتفرم‌های مدیریت‌شده برای تاخیر اولین توکن بین ظرفیت رزروشده و درخواستی ثبت کرده است.
  • سطح 3: یک مدل فاین‌تیون‌شده چگونه این مقایسه را تغییر می‌دهد؟ انتظار می‌رود پاسخ دهید: یک پلتفرم توکنی ممکن است مدل فاین‌تیون‌شده را با نرخ پایه حساب کند یا هزینه‌ی بیشتری بابت آن بگیرد. یک GPU اختصاصی در هر دو حالت آن را با همان قیمت ساعتی ثابت اجرا می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پرداخت توکنی همیشه ارزان‌تر است چون پولی بابت زمان بیکاری نمی‌دهید.» بالاتر از نقطه‌ی سربه‌سرِ بهره‌وری، نرخ توکن هزینه‌ی بیکاری و حاشیه‌ی سود پلتفرم را با خود دارد و GPU خودتان ارزان‌تر تمام می‌شود.
  • «پرداخت اختصاصی در مقیاس بالا همیشه ارزان‌تر است.» فقط وقتی که مدام مشغول نگهش دارید. بار کاری که فقط مختص روز باشد، نیمی از وقت آن را بیکار می‌گذارد.
  • «قیمت‌های اولیه را مقایسه کنید.» این دو قیمت واحدهای متفاوتی دارند. فقط الگوی ترافیک شماست که آن‌ها را به یک رقم واقعی در صورت‌حساب تبدیل می‌کند.

کجای دوره آموزش داده می‌شود

درس اقتصاد پلتفرم استنتاج نقطه‌ی سربه‌سر پرداخت توکنی در برابر دقیقه‌ای را بررسی می‌کند و درس پلتفرم‌های مدیریت‌شده نقطه‌ی سربه‌سر ظرفیت رزروشده را ارائه می‌دهد.