سؤال مصاحبه

یک نمونه‌ی آماده در تمام طول شب، یا شروع سرد در ساعت هشت صبح

A warm replica all night, or a cold start at eight

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

اندپوینت بدون سرور (serverless) شما در طول شب به صفر مقیاس می‌یابد (scale to zero). با اولین درخواست صبحگاهی، سیستم دقیقه‌ها منتظر بارگذاری یک مدل 70B می‌ماند؛ در حالی که تیم محصول اولین توکن را ظرف 2 ثانیه می‌خواهد. یکی از مهندسان اصرار دارد یک نمونه‌ی آماده (replica) داشته باشیم که هرگز نخوابد. مهندس دیگر معتقد است این کار یعنی سوزاندن پول پای یک GPU در تمام طول شب. چاره چیست و چطور باید این اختلاف را حل کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

حق با هر دو نفر است؛ این تصمیم برای هر مسیر، یک دودوتاچهارتا است. نگه‌داشتن یک نمونه‌ی آماده، چه درخواستی بیاید و چه نیاید، در هر ساعت هزینه‌ی یک ساعت کارکرد GPU را روی دستتان می‌گذارد؛ اما شروع سرد (cold start) چنددقیقه‌ایِ یک مدل بزرگ را کاملاً حذف می‌کند. یک مسیر تعاملی با هدفی سخت‌گیرانه برای زمان اولین توکن روی مدلی بزرگ، حتماً به نمونه‌ی آماده نیاز دارد؛ اما یک مدل کوچک با شروع سرد چندثانیه‌ای، یا یک مسیر پس‌زمینه که تأخیر چنددقیقه‌ای را تاب می‌آورد، باید به صفر مقیاس یابد. در گام بعدی، خودِ زمان شروع سرد را کاهش دهید تا مسیرهای کمتری اصلاً به نمونه‌ی آماده نیاز پیدا کنند.

پاسخ کامل

شروع سرد از چه مراحلی تشکیل شده است؟

بررسی اجزای شروع سرد برای یک مدل 70B روی نودی جدید به این صورت است: آماده‌سازی نود 45 تا 60 ثانیه، دریافت ایمیج (image pull) بین 120 تا 300 ثانیه، انتقال وزن‌ها به حافظه‌ی GPU بین 45 تا 120 ثانیه، و راه‌اندازی موتور پردازشی (engine init) بین 10 تا 30 ثانیه. مجموع این‌ها به 220 تا 510 ثانیه می‌رسد؛ یعنی پیش از تولید حتی یک توکن، باید بین 3 تا 8 دقیقه معطل ماند. راهنمای vLLM فقط یکی از این مراحل را روی سیستم خود اندازه گرفته است: بارگذاری 57 GiB وزن مدل، 330 ثانیه طول می‌کشد.

دو‌دو‌تا‌چهار‌تای استخر نمونه‌های آماده

محاسبات نشان می‌دهد که هزینه‌ی این کار برای مدل‌های کوچک بسیار سنگین و برای مدل‌های بزرگ کاملاً موجه است. برای جلوگیری از شروع سرد 30 ثانیه‌ای یک مدل کوچک، باید ساعتی 0.85 تا 1.50 دلار بپردازید؛ در حالی که برای حذف شروع سرد 5 دقیقه‌ایِ یک مدل بزرگ، حدود 4 دلار در ساعت هزینه می‌کنید. اگر پنج محصول داشته باشید و برای هرکدام یک نمونه‌ی آماده نگه دارید، چه درخواستی بیاید و چه نیاید، ماهانه 3600 ساعت هزینه‌ی GPU روی دستتان می‌ماند. آستانه‌ی تعیین‌شده این است: هرگاه هدف صدک 99 (P99) برای اولین توکن در مدلی با اندازه‌ی 70B یا بزرگ‌تر زیر 60 ثانیه باشد، استفاده از استخر نمونه‌های آماده (warm pool) اجباری است.

لایه‌بندی مسیرها

مسیر سیاست
چت زنده، ایجنت صوتی یک یا دو نمونه‌ی آماده
دسته‌بندی شبانه، پردازش دسته‌ای (batch) مقیاس‌دهی به صفر؛ شروع سردِ چنددقیقه‌ای مشکلی ندارد
مستأجر ویژه (premium tenant) ظرفیت آماده‌ی اختصاصی

کاهش زمان شروع سرد

پنج لایه وجود دارد که هرکدام یکی از فازها را حذف می‌کنند: ایمیجِ از پیش آماده‌ی نود (pre-seeded node image) فاز دریافت ایمیج را حذف می‌کند، استریمینگ مدل (model streaming) زمان بارگذاری وزن‌ها را به نصف می‌رساند، اسنپ‌شات حافظه‌ی GPU وضعیتِ بارگذاری‌شده را در کسری از زمان بازیابی می‌کند، استخرهای نمونه‌های آماده باقی تأخیر را پنهان می‌کنند، و بارگذاری لایه‌ای (tiered loading) وزن‌ها را در حافظه‌ی هاست نگه می‌دارد. طبق جدول درس، ترکیب این لایه‌ها زمان شروع سردِ 328 ثانیه‌ای را به حدود 15 ثانیه کاهش می‌دهد؛ یعنی بهبودی 22 برابری. راهنمای vLLM بخش عملیاتی کار را هم تکمیل می‌کند: وزن‌های مدل را روی دیسک محلی نگه دارید، کش کامپایل (compile cache) را روی یک ولوم پایدار (persistent volume) ذخیره کنید، و برای هر ایمیج جدید، زمان شروع سرد و گرم را بسنجید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام مسیرها در اولویت دریافت نمونه‌ی آماده هستند؟ پاسخ مورد انتظار: مسیرهای تعاملی با هدفی سخت‌گیرانه برای اولین توکن روی مدل‌های بزرگ؛ مانند چت زنده یا یک ایجنت صوتی.
  • سطح 2: پنهان کردن شروع سرد کدام مدل به‌صرفه‌تر است؛ مدل کوچک یا بزرگ؟ پاسخ مورد انتظار: به نسبت، مدل بزرگ. برای یک مدل کوچک هزینه‌ی کامل یک ساعت GPU را می‌پردازید تا جلوی چند ثانیه معطلی را بگیرید؛ اما برای یک مدل بزرگ، همان یک ساعت جلوی چند دقیقه را می‌گیرد.
  • سطح 3: دو راهکار نام ببرید که کل یک فاز از شروع سرد را حذف می‌کنند. پاسخ مورد انتظار: ایمیجِ از پیش آماده‌ی نود فاز دریافت ایمیج را حذف می‌کند، و اسنپ‌شات حافظه‌ی GPU بیشترِ بارگذاری وزن‌ها و راه‌اندازی اولیه را از میان برمی‌دارد.
  • سطح 3: نرخ سربه‌سر درخواست‌ها (break-even request rate) برای نگه‌داشتن یک نمونه‌ی آماده چقدر است؟ پاسخ مورد انتظار: نرخی که در بالاتر از آن، هزینه‌ی ناشی از شروع‌های سرد (به‌شکل درخواست‌هایی که به هدف زمانی نمی‌رسند) از هزینه‌ی ساعتی GPU بیکار بیشتر می‌شود. شبیه‌ساز درس این عدد را محاسبه می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌جا یک نمونه‌ی آماده نگه دارید؛ ساده‌ترین راه است.» این کار به ازای هر محصول، هر ساعت یک ساعت هزینه‌ی GPU دارد. پنج محصولِ بیکار در تمام طول شب، ماهانه هزاران ساعت GPU می‌سوزانند.
  • «همه‌جا به صفر مقیاس دهید و بگذارید اولین کاربر منتظر بماند.» چند دقیقه معطلی برای اولین توکن در یک مسیر تعاملی، دیگر «انتظار» نیست؛ قطعی سرویس است.
  • «یک GPU بزرگ‌تر سریع‌تر بارگذاری می‌کند.» سرعت بارگذاری به فضای ذخیره‌سازی و مسیر کپی داده محدود است. راهکار اصلی به محل نگهداری وزن‌ها و وجود اسنپ‌شات برمی‌گردد.

کجای دوره آموزش داده می‌شود

درس شروع سرد هزینه‌ی نمونه‌ی آماده و پنج لایه‌ی بهینه‌سازی را نشان می‌دهد، و بخش محیط عملیاتی در vLLM 101 بارگذاری وزن‌ها را اندازه می‌گیرد و کش کامپایل را نگه می‌دارد.