سؤال مصاحبه

تعداد نمونه‌های آماده در هر لایه، همراه با محاسبات عددی

Warm replicas per tier, with the arithmetic

  • سطح ۴: استف
  • طراحی
  • ۱۸ دقیقه

فرض کنید سه لایه‌ی مختلف را روی یک پلتفرم GPU بدون سرور (serverless) اجرا می‌کنید: کاربران اشتراکی در چت زنده، کاربران آزمایشی روی همان چت، و یک پایپ‌لاین پردازش دسته‌ایِ شبانه. استراتژی استخر نمونه‌های آماده (Warm Pool) را برای هر لایه طراحی کنید، محاسبات عددی پشت آن را نشان دهید و بگویید پس از یک ماه چه معیارهایی را می‌سنجید تا در این سیاست تجدیدنظر کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

برای چت کاربران اشتراکی، یک یا دو نمونه‌ی آماده در نظر بگیرید؛ چون هدف‌گذاری زمان پاسخِ اولین توکن (first-token target) در این لایه نمی‌تواند شروع سرد چنددقیقه‌ایِ یک مدل بزرگ را بپذیرد. برای کاربران آزمایشی، حاشیه‌ی امن کمتری بگذارید یا اجازه دهید از ظرفیت مازاد استخرِ کاربران اشتراکی استفاده کنند. پایپ‌لاین پردازش دسته‌ای را هم طوری تنظیم کنید که به صفر برسد (scale to zero)، چون شروع سرد چنددقیقه‌ای را کاملاً تاب می‌آورد. مبنای محاسبات، ضرب هزینه‌ی ساعتی GPU در ساعات بیکاری آن در مقایسه با تعداد درخواست‌هایی است که هنگام شروع سرد از تارگت زمانی جا می‌مانند. بعد از یک ماه هم نرخ بهره‌وری (utilization) ثبت‌شده، تعداد شروع سرد و تعداد درخواست‌های بازمانده از تارگت را در هر لایه مقایسه می‌کنید.

پاسخ کامل

محاسبات عددی ارائه‌شده در درس

هر نمونه‌ی آماده در هر ساعت، هزینه‌ای معادل یک ساعت استفاده از GPU دارد. اختصاص یک نمونه‌ی آماده به ازای هر محصول، چه کسی درخواست بفرستد و چه نفرستد، هزینه‌ی کامل یک ماه GPU را به همراه دارد. در مثالِ درس، پنج محصول که هر کدام یک نمونه‌ی آماده دارند، در ماه 3,600 ساعت GPU بی‌استفاده روی دستتان می‌گذارند. درس این بده‌بستان را برای مدل‌های کوچک بی‌رحمانه می‌داند؛ جایی که باید ساعتی 0.85 تا 1.50 دلار بدهید تا جلوی یک شروع 30 ثانیه‌ای را بگیرید. اما برای مدل‌های بزرگ منطقی و توجیه‌پذیر است، چون با پرداخت حدود 4 دلار در ساعت جلوی شروع 5 دقیقه‌ای را می‌گیرید. آستانه‌ی پیشنهادی درس برای اجباری شدن استخر نمونه‌های آماده: تارگت صدک نودونهم (P99) اولین توکن زیر 60 ثانیه برای مدلی با 70B پارامتر یا بیشتر.

سیاست تفکیک‌شده برای هر لایه

لایه سیاست دلیل
چت زنده‌ی کاربران اشتراکی یک تا دو نمونه‌ی آماده همان مسیر تعاملی و پرارزش درس، که شروع سرد در آن حکم قطعی سرویس را دارد
چت آزمایشی صفر نمونه‌ی آماده، یا سرریز به استخر کاربران اشتراکی با اولویت پایین‌تر زیان وارده از جنس تبدیل کاربر (conversion) است که می‌توان آن را اندازه گرفت و در برابر هزینه‌ی یک ماه ساعات GPU سنجید
پردازش دسته‌ای شبانه کاهش به صفر (scale to zero) درس تأیید می‌کند که شروع سرد 5 تا 10 دقیقه‌ای برای مسیرهای پس‌زمینه کاملاً قابل‌قبول است

تمرین درس دقیقاً همین تفکیک و محاسبات عددی پشت آن را می‌خواهد. تکلیف لایه‌ی اشتراکی با توافق‌نامه‌ی سطح خدمات (SLA) مشخص می‌شود. لایه‌ی پردازش دسته‌ای هم با توجه به میزان تحمل تأخیر تعیین تکلیف می‌شود. تصمیم‌گیری واقعی روی لایه‌ی آزمایشی است که ماهیتی تجربی دارد: سنجش زیانِ ناشی از تبدیل نشدن کاربر به مشتری به خاطر شروع سرد در اولین نشست، در برابر هزینه‌ی یک GPU بیکار.

ارزان‌تر کردن سیاست با کاهش زمان شروع سرد

هر لایه‌ی کاهش تأخیر، یک سطح سرویس را به سمت کاهش به صفر هدایت می‌کند. ایمیج از پیش بارگذاری‌شده‌ی نود، مرحله‌ی دریافت ایمیج را حذف می‌کند؛ استریمینگ مدل (Model Streaming) زمان بارگذاری وزن‌ها را به نصف می‌رساند؛ اسنپ‌شات از حافظه‌ی GPU وضعیت بارگذاری‌شده را در کسری از زمان بازمی‌گرداند؛ و بارگذاری لایه‌ای (Tiered Loading) وزن‌ها را در حافظه‌ی رم سیستم نگه می‌دارد. جدول درس نشان می‌دهد چطور می‌توان شروع سرد 328 ثانیه‌ای را به حدود 15 ثانیه رساند. با شروع سرد 15 ثانیه‌ای، لایه‌ی آزمایشی می‌تواند با زیانی ناچیز به صفر کاهش یابد و استخر کاربران اشتراکی هم به جای دو نمونه، تنها یک نمونه‌ی آماده نگه دارد.

تطبیق مدل پرداخت با لایه‌ها

نمونه‌های آماده با بهره‌وری بالا کار می‌کنند؛ یعنی جایی که پرداخت دقیقه‌ای بر پرداخت بر اساس توکن برتری دارد (طبق درس اقتصاد پردازش، در بهره‌وری ادامه‌دارِ بالای حدود 30 درصد). جهش‌های ناگهانی ترافیک آزمایشی و پردازش دسته‌ای شبانه زیر این خط قرار می‌گیرند؛ بنابراین پرداخت بر اساس توکن یا لایه‌ی پردازش دسته‌ای (Batch tier) با هزینه‌ای حدود نصف نرخ بدون سرور، گزینه‌ی مناسب‌تری برای آن‌هاست.

معیارهای سنجش پس از گذشت یک ماه

  • میزان بهره‌وری در هر لایه، ساعت به ساعت.
  • تعداد شروع سرد در روز و مدت‌زمان هر کدام.
  • درخواست‌هایی که به تارگت اولین توکن نرسیده‌اند، و تفکیک مواردی که حین شروع سرد رخ داده‌اند.
  • نرخ تبدیل کاربران آزمایشی در نشست‌هایی که به شروع سرد برخورد کرده‌اند در مقایسه با نشست‌هایی که نخورده‌اند.
  • نرخ سر‌به‌سر درخواست‌ها در هر لایه بر اساس شبیه‌ساز درس، در مقایسه با نرخ واقعی ثبت‌شده.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا برای کاربران آزمایشی، استخر نمونه‌های آماده را هم‌اندازه‌ی کاربران اشتراکی در نظر نمی‌گیریم؟ پاسخ مورد انتظار: نگه‌داشتن نمونه‌ی آماده هزینه‌ی یک ماه ساعات GPU را به بار می‌آورد، چه ترافیک آزمایشی بیاید و چه نیاید. پایه‌ی تصمیم‌گیری، مقایسه‌ی کاهش نرخ تبدیل ناشی از شروع سرد در برابر این هزینه است، و داده‌های حاصل از سنجشِ یک‌ماهه پاسخ این مسئله را روشن می‌کند.
  • سطح 4: شروع سرد 15 ثانیه‌ای چه تغییری در سیاست ایجاد می‌کند؟ پاسخ مورد انتظار: لایه‌هایی که چند ثانیه تأخیر را تحمل می‌کنند به صفر کاهش می‌یابند؛ در نتیجه استخر نمونه‌های آماده فقط محدود به مسیرهایی می‌شود که تارگت‌های زمانیِ یک یا دو ثانیه‌ای دارند.
  • سطح 4: چه نشانه‌ای می‌گوید تعداد نمونه‌های آماده خیلی کم است؟ پاسخ مورد انتظار: سهم درخواست‌هایی که حین افزایش ظرفیت (scale-out) از تارگت اولین توکن جا می‌مانند، در کنار تعداد روزانه‌ی شروع سرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای هر لایه نمونه‌ی آماده می‌گذاریم، هزینه‌اش زیاد نیست.» یک نمونه‌ی آماده به ازای هر محصول یعنی یک ماه کامل هزینه‌ی GPU. پنج محصول بیکار روی‌هم‌رفته هزاران ساعت هزینه می‌تراشند.
  • «لایه‌ی آزمایشی را به صفر می‌رسانیم، چون کاربرانش رایگان هستند.» شروع سرد چنددقیقه‌ای در اولین نشست آزمایشی، یعنی از دست رفتن تبدیل کاربر به مشتری. قبل از تصمیم‌گیری حتماً آن را بسنجید.
  • «پایپ‌لاین پردازش دسته‌ای را آماده نگه می‌داریم تا زودتر تمام شود.» پردازش دسته‌ای چند دقیقه تأخیر را راحت تحمل می‌کند. GPU آماده برای این لایه، یعنی پول دادن بابت بیکاری سیستم در بقیه‌ی ساعات روز.

کجای دوره آموزش داده می‌شود

درس شروع سرد محاسبات عددی استخر نمونه‌های آماده و تمرین سیاست‌گذاری لایه‌ای را آموزش می‌دهد؛ و درس اقتصاد پلتفرم‌های استنتاج نقطه‌ی تلاقی و برتری پرداخت دقیقه‌ای در برابر توکنی را پوشش می‌دهد.