سؤال مصاحبه

کالبدشکافی یک شروع هشت‌دقیقه‌ای

Break an eight-minute start into its parts

  • سطح ۳: ارشد
  • تخمین
  • ۱۲ دقیقه

یک پاد (pod) که مدلی از نوع MoE را روی سیستمی با حافظه‌ی یکپارچه (Unified Memory) اجرا می‌کرد، از لحظه‌ی شروع تا آماده‌به‌کار شدن حدود 8 دقیقه زمان برد. این زمان را به بخش‌های سازنده‌اش بشکنید، بگویید راه‌اندازی مجدد کدام بخش‌ها را دور می‌زند، و تخمین بزنید که یک شروع گرم (warm restart) روی همین سیستم چقدر طول می‌کشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بخش عمده‌ی این زمان صرف بارگذاری وزن‌ها شده است. لاگ‌های راهنما نشان می‌دهد که کپی کردن 57 GiB وزن روی حافظه‌ی آن سیستم، تنسور به تنسور از صفحاتی با پشتوانه‌ی فایلی (file-backed page)، حدود 330 ثانیه طول کشیده است. راه‌اندازی اولیه موتور (engine init) 127.54 ثانیه زمان برده که شامل دو ثبت گراف CUDA (معادل CUDA graph capture) با زمان‌های 39 و 38 ثانیه و سهم کامپایل 18.67 ثانیه‌ای است. راه‌اندازی مجدد فقط کش کامپایل را دوباره مصرف می‌کند و نه هیچ چیز دیگر؛ بنابراین یک شروع گرم روی این سیستم تنها کمی کوتاه‌تر از شروع سرد خواهد بود، مگر اینکه وزن‌ها از قبل در حافظه‌ی میزبان آماده شده باشند یا یک اسنپ‌شات از فرایند وجود داشته باشد؛ راهکاری که طبق یک گزارش میدانی، شروع سرد 695 ثانیه‌ای را به 9.6 ثانیه رسانده است.

پاسخ کامل

بخش‌های مختلف، بر اساس لاگ راه‌اندازی

فاز زمان ثبت‌شده محل ثبت در لاگ
بارگذاری وزن‌ها 56.93 GiB در حدود 330 ثانیه خط مربوط به بارگذاری مدل (model loading)
راه‌اندازی موتور، پروفایلینگ، کش کلید-مقدار، گرم‌کردن و هر دو ثبت گراف 127.54 ثانیه، که 18.67 ثانیه‌اش کامپایل است خط مربوط به راه‌اندازی موتور (init engine)
اولین ثبت گراف، درون فاز راه‌اندازی موتور 39 ثانیه، 1.17 GiB اولین خط مربوط به ثبت گراف (graph capturing)
دومین ثبت گراف، درون فاز راه‌اندازی موتور 38 ثانیه، 0.31 GiB دومین خط مربوط به ثبت گراف (graph capturing)

این دو ثبت گراف پیش از پایان خط init تکمیل می‌شوند، پس بخشی از همان 127.54 ثانیه‌اند؛ آن‌ها را به این عدد اضافه نکنید.

سرور حدود 8 دقیقه پس از خواندن آرگومان‌هایش اعلام آمادگی کرد. تنها مرحله‌ی بارگذاری، بیش از دوسوم این زمان را می‌گیرد.

چرا بارگذاری وزن‌ها روی این سیستم کند است؟

هر تنسور از فایل نگاشت‌شده در حافظه (memory-mapped) به حافظه‌ی تخصیص‌یافته‌ی GPU کپی می‌شود. روی این پلتفرم، در یک issue باز ثبت شده که کپی هر تنسور از نمای فایلی حدود 1.7 میلی‌ثانیه زمان می‌برد، در حالی که این رقم برای کپی با مبدأ حافظه‌ی میزبان حدود 0.2 میلی‌ثانیه است. نسخه‌ای که راهنما روی آن قفل شده، با جست‌وجوی نمایه‌گذاری‌شده‌ی نام‌های کارشناسان (experts) حدود 25 ثانیه در زمان صرفه‌جویی کرد، اما هزینه‌ی کپیِ تک‌تک تنسورها همچنان به قوت خود باقی است. توصیه‌ی راهنما این است: وزن‌ها را روی NVMe محلی بگذارید نه روی مانت شبکه، و سرور را یک بار اجرا کنید و آن را بالا نگه دارید.

راه‌اندازی مجدد چه بخش‌هایی را رد می‌کند؟

کش کامپایل درون دایرکتوری کش خود موتور ذخیره می‌شود. اگر آن را روی یک ولوم ماندگار (persistent volume) نگه دارید، راه‌اندازی بعدی از همان استفاده می‌کند و سهم کامپایل کمتر می‌شود. SGLang هم به همین دلیل تمام کش‌های کرنل خود را در یک دایرکتوری نگه می‌دارد و راهنما آن را روی ولومی مانت می‌کند که با حذف پاد باقی می‌ماند. با این حال، ثبت‌های گراف و بارگذاری وزن‌ها در هر بار راه‌اندازی تکرار می‌شوند. بنابراین برآورد واقعی برای شروع گرم روی این سیستم، همان زمان شروع سرد منهای سهم کامپایل است؛ یعنی هنوز چند دقیقه‌ای طول می‌کشد.

چطور زمان را به زیر یک دقیقه برسانیم؟

درس شروع سرد، هر فاز را به یک لایه نگاشت می‌کند: یک ایمیج ازپیش‌آماده (pre-seeded image) بارگیری ایمیج را حذف می‌کند، استریمینگ مدل (model streaming) زمان بارگذاری وزن‌ها را تقریباً به نصف می‌رساند، و اسنپ‌شات حافظه‌ی GPU وضعیت بارگذاری‌شده را حدود 10 برابر سریع‌تر از بارگذاری مجدد بازیابی می‌کند. راهنمای SGLang به یک گزارش میدانی با وضعیتی مشابه روی موتوری دیگر و هشت پردازنده‌ی گرافیکی اشاره می‌کند: شروع سرد 695 ثانیه‌ای که 531 ثانیه‌اش صرف بارگذاری وزن‌ها می‌شد، با حفظ کش‌های کرنل به 88 ثانیه، و با یک چک‌پوینت از فرایند به همراه آماده‌سازی وزن‌ها در حافظه‌ی میزبان، به 9.6 ثانیه رسید. پس رسیدن به زیر یک دقیقه نیازمند اسنپ‌شات یا آماده‌سازی وزن‌ها در حافظه است، نه یک دیسک سریع‌تر.

این عدد چه چیزهایی را تعیین می‌کند؟

نمونه‌ی Kubernetes در راهنمای vLLM، آزمون‌های ارزیابی راه‌اندازی (startup probes) را طوری می‌چیند که در فواصل 10 ثانیه‌ای و درون یک پنجره‌ی 15 دقیقه‌ای بررسی را انجام دهند؛ همچنین می‌گوید این بازه را بر اساس اندازه‌گیری واقعی شروع سرد خودتان تنظیم کنید. سیستم مقیاس‌پذیری خودکار (autoscaler) هم به یک پنجره‌ی پایدارسازی (stabilization window) حداقل با همین طول نیاز دارد، و مسیر پردازش درخواست‌های بلادرنگ (interactive path) نیز به یک نمونه‌ی همتای آماده (warm replica) نیازمند است، چون هیچ مقیاس‌دهی افقی‌ای در یک بازه‌ی هشت‌دقیقه‌ای گره‌ای باز نمی‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام فاز روی این سیستم غالب است و چرا؟ پاسخ مورد انتظار: بارگذاری وزن‌ها با حدود 330 ثانیه؛ چون هر تنسور از صفحه‌ای با پشتوانه‌ی فایلی کپی می‌شود که روی این پلتفرم کند است.
  • سطح 3: کش کامپایل ماندگار چه چیزی را در زمان راه‌اندازی مجدد ذخیره می‌کند؟ پاسخ مورد انتظار: سهم کامپایل در راه‌اندازی اولیه موتور، که اینجا 18.67 ثانیه است. بارگذاری وزن‌ها و ثبت‌های گراف همچنان باقی می‌مانند.
  • سطح 4: چطور راه‌اندازی مجدد را به زیر یک دقیقه می‌رسانید؟ پاسخ مورد انتظار: با یک چک‌پوینت فرایند یا اسنپ‌شات حافظه‌ی GPU همراه با آماده‌سازی وزن‌ها در حافظه‌ی میزبان؛ راهکاری که در گزارش میدانی زمان را به 9.6 ثانیه رساند. دیسک سریع‌تر به‌تنهایی شما را به آنجا نمی‌رساند.
  • سطح 4: یک شروع هشت‌دقیقه‌ای چه الزاماتی برای آزمون‌های ارزیابی و اتواسکیلر به همراه دارد؟ پاسخ مورد انتظار: یک پنجره‌ی startup probe طولانی‌تر از 8 دقیقه، یک پنجره‌ی پایدارسازی حداقل به همان اندازه، و نگه‌داشتن یک کپی گرم برای مسیر تعاملی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بخش کامپایل کند است، پس از حالت eager استفاده کنید.» کامپایل تنها 18.67 ثانیه از شروع هشت‌دقیقه‌ای را شامل می‌شد، اما eager mode بعد از آن در تمام درخواست‌ها به سرعت رمزگشایی (decode) ضربه می‌زند.
  • «یک پردازنده‌ی گرافیکی سریع‌تر، سریع‌تر هم بارگذاری می‌کند.» گلوگاه بارگذاری مسیر کپی از نمای فایلی بود، نه پردازنده‌ی گرافیکی.
  • «برای اعمال تغییرات پیکربندی، زودبه‌زود ری‌استارت کنید.» هر بار راه‌اندازی مجدد هزینه‌ی کامل بارگذاری را به همراه دارد. توصیه‌ی راهنما این است که سرور را یک‌بار راه‌اندازی کنید و آن را روشن نگه دارید.

کجای دوره آموزش داده می‌شود

بخش حافظه‌ی یکپارچه در vLLM 101 بارگذاری کند وزن‌ها را توضیح می‌دهد؛ بخش کامپایل زمان‌های ثبت گراف و کامپایل را تحلیل می‌کند؛ بخش محیط عملیاتی به نگهداری کش کامپایل می‌پردازد؛ بخش عملیات در SGLang 101 نتایج شروع گرم و شروع با چک‌پوینت را گزارش می‌دهد؛ و درس کاهش شروع سرد برای هر فاز یک راهکار جبرانی مشخص می‌کند.