سؤال مصاحبه

استخر حافظه 95 درصد خالی بود، اما سرور از کار افتاد

The pool was 95 percent empty and the server died

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

یک سرور SGLang روی یک ورک‌استیشن اشتراکی به مدت 4 دقیقه کار کرد و سپس حین اجرای یک بنچمارک با 32 درخواستِ در حال پردازش، با خطای کمبود حافظه (out-of-memory) کرش کرد. لاگ اسکژولر (scheduler) درست قبل از کرش مقدار token usage: 0.05 را نشان می‌دهد. توضیح دهید چطور با وجود خالی بودن 95 درصدی استخر، حافظه‌ی سرور تمام شد و چه تنظیمی را باید اعمال کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اندازه‌ی استخر حافظه‌ی کلید-مقدار (KV pool) فقط یک بار در زمان راه‌اندازی و بر اساس اسنپ‌شاتی (snapshot) از حافظه‌ی آزاد سیستم تعیین می‌شود؛ در این سناریو، ضریب خودکار سیستم 87.2 درصد از حافظه‌ی آزاد را به وزن‌های مدل و استخر اختصاص داد. 32 درخواست جاری در مجموع 16,095 توکن را نگه داشته بودند که فقط 5 درصد از استخر 312,581 توکنی بود؛ بنابراین استخر حافظه 33 گیگابایت فضا رزرو کرده بود اما کمتر از 2 گیگابایت آن را مصرف می‌کرد. در نتیجه، اکتیویشن‌های (activations) گذر رو به جلو (forward pass) بعدی به حافظه‌ای خارج از استخر نیاز داشتند که دیگر در سیستم‌عامل باقی نمانده بود. روی سیستمی که پردازش‌های دیگری هم هم‌زمان با آن اجرا می‌شوند، مقدار --mem-fraction-static را خودتان دستی تعیین کنید؛ با تنظیم این مقدار روی 0.4، همان بنچمارک تمام 128 درخواست را در همروندی 32 با موفقیت به پایان رساند.

پاسخ کامل

دو بار راه‌اندازی، دو اندازه‌ی متفاوت برای استخر

در مستندات، سرور دو بار با همان دستور قبلی و بدون تعیین ضریب اجرا شد. در راه‌اندازی اول، سیستم 27.81 گیگابایت حافظه‌ی آزاد تشخیص داد، بودجه‌ی KV را 24.25 گیگابایت در نظر گرفت و استخری با ظرفیت 227,022 توکن ایجاد کرد. در راه‌اندازی دوم، 38.29 گیگابایت حافظه‌ی آزاد وجود داشت، بودجه‌ی 33.39 گیگابایتی به KV اختصاص یافت و ظرفیت استخر 312,581 توکن تعیین شد. در این میان هیچ تغییری در SGLang رخ نداده بود؛ فقط برنامه‌های دیگر در اجرای دوم حافظه‌ی کمتری مصرف می‌کردند. هر دو بودجه دقیقاً 87.2 درصد از حافظه‌ی آزاد بودند، چون مقدار ضریب خودکار روی 0.872 محاسبه شده بود.

ماجرای کرش

آخرین خط لاگ رمزگشایی (decode) پیش از کرش، 32 درخواست در حال اجرا با 16,095 توکن و مصرف توکن (token usage) برابر با 0.05 را نشان می‌داد. استخر 33 گیگابایت رزرو کرده بود، در حالی که کمتر از 2 گیگابایت مصرف داشت. گذر رو به جلوی بعدی برای اکتیویشن‌های خود به حافظه‌ای خارج از استخر نیاز داشت، اما حافظه‌ی آزادی در سیستم‌عامل باقی نمانده بود؛ در نتیجه یکی از بافرهای فرمان (command buffer) با شکست مواجه شد، اسکژولر از کار افتاد و سرور کل درخت فرایند (process tree) خود را بست. در واقع خالی بودن استخر و کرش ناشی از اتمام حافظه، هر دو ناشی از یک اتفاق واحد بودند.

سازوکار SGLang در تقسیم حافظه

این ضریب، سهمی از حافظه است که به وزن‌های مدل به‌علاوه‌ی استخر KV اختصاص می‌یابد. هر بخش دیگر اعم از اکتیویشن‌ها، گراف‌ها و برنامه‌های متفرقه، خارج از این محدوده قرار می‌گیرند. روی پردازنده‌ی گرافیکی (GPU)، مقدار خودکار با کم کردن یک حاشیه‌ی رزرو محاسبه می‌شود: 512 مگابایت به‌علاوه‌ی 1.5 مگابایت به ازای هر توکنِ چانک پیش‌پرکنی (prefill)، مقداری بیشتر برای موازی‌سازی تنسور (tensor parallelism)، موازی‌سازی پایپ‌لاین (pipeline parallelism) و گراف‌ها، و حداقل 10 GiB روی GPUهایی با بیش از 60 گیگابایت حافظه. مقدار این ضریب برابر است با حافظه‌ی کل منهای حافظه‌ی رزرو، تقسیم بر حافظه‌ی کل. اگر خواندن ظرفیت سخت‌افزار ممکن نباشد، این مقدار روی 0.95 تنظیم می‌شود. بعد از بارگذاری وزن‌ها، SGLang دوباره حافظه‌ی آزاد را اندازه می‌گیرد؛ بودجه‌ی KV برابر خواهد بود با این حافظه‌ی آزاد منهای سهمی از حافظه که پیش از بارگذاری، خارج از ضریب تعیین‌شده قرار داشت. در بک‌اند لپ‌تاپ قاعده ساده‌تر است: مقدار کوچک‌تر میان ضریبِ فضای کاری سخت‌افزار و ضریبِ حافظه‌ی آزاد فعلی سیستم، که بخش دوم همان اسنپ‌شات متغیری است که با مصرف بقیه‌ی برنامه‌ها جابه‌جا می‌شود.

مواردی که مقدار پیش‌فرض پاسخگو نیست

  • سیستم اشتراکی: اسنپ‌شاتی که در ابتدای راه‌اندازی ثبت می‌شود، در تمام طول فعالیت سرور ثابت نمی‌ماند.
  • ظرفیت نامشخص: ضریب روی 0.95 تنظیم می‌شود و فقط 5 درصد برای اکتیویشن‌ها باقی می‌گذارد؛ در یک گزارش، این وضعیت در همان اولین پیش‌پرکنی به خطای کمبود حافظه انجامید.
  • حافظه‌ای که در تخمین اولیه نادیده گرفته می‌شود: نسخه‌های مدل پیش‌نویس (draft model) که حین تعیین اندازه‌ی استخرِ مدل هدف در حافظه باقی می‌مانند، و پرامپت‌های 64K توکنی که با وجود ثبت ظرفیت 274,934 توکن در لاگ، در بخش اتنشن (attention) با خطای کمبود حافظه مواجه شدند.

راه‌حل و سناریوی معکوس آن

با تنظیم --mem-fraction-static 0.4، بودجه به 19.39 گیگابایت (یعنی 0.4 از اسنپ‌شات 48.49 گیگابایتی) رسید و استخر ظرفیت 181,574 توکن را به خود اختصاص داد؛ مقداری که بسیار بیشتر از نیاز 32 درخواستِ 640 توکنی است. کوچک‌تر شدن استخر در این بار کاری هیچ هزینه‌ای نداشت، چون حجم کار اصلاً استخر را پر نمی‌کرد. روی یک GPU اختصاصی، در وهله‌ی اول به مقدار خودکار اعتماد کنید. فقط زمانی که لاگ اسکژولر پر شدن استخر و پس‌زدن درخواست‌ها (retractions) را نشان داد، آن را در گام‌های 0.02تایی افزایش دهید. سقف بهینه‌ی حافظه را در محیط آزمایشی (staging) با طولانی‌ترین پرامپت‌هایتان پیدا کنید، سیستم را در محیط عملیاتی (production) یک یا دو گام پایین‌تر از آن به کار بگیرید و هر زمان پرامپت‌های طولانی در بخش اتنشن با خطای کمبود حافظه روبه‌رو شدند، این عدد را کاهش دهید.

چه معیارهایی را باید ارزیابی کرد

خط max_total_num_tokens را در زمان راه‌اندازی بخوانید؛ این مقدار خروجی نهایی کل محاسبات است. پارامتر token usage را در خطوط لاگ رمزگشایی زیر نظر بگیرید؛ مقادیر نزدیک به 1.0 یعنی استخر در حال پر شدن است. حافظه‌ی آزاد سیستم را در سنگین‌ترین مرحله‌ی پیش‌پرکنی مستقیماً از سیستم‌عامل بررسی کنید. در بک‌اند لپ‌تاپ، متریک حافظه‌ی کش مقدار 0.0 را نشان می‌داد، چون این بک‌اند استخر خود را خارج از محدوده‌ی ردیابی این متریک تخصیص می‌دهد؛ مقداری که باید ملاک قرار دهید، عدد درج‌شده در خط لاگ استخر است که حدود 19,860 مگابایت را نشان می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا استخر در راه‌اندازی دوم با وجود عدم تغییر در SGLang بزرگ‌تر شد؟ پاسخ مورد انتظار: سایر برنامه‌ها در شروع دوم حافظه‌ی کمتری مصرف می‌کردند؛ در نتیجه اسنپ‌شات حافظه‌ی آزاد از 27.81 به 38.29 گیگابایت رسید و استخر نیز با همان ضریب خودکار، از 24.25 به 33.39 گیگابایت افزایش پیدا کرد.
  • سطح 3: این ضریب چه حافظه‌ای را پوشش می‌دهد و چه بخش‌هایی خارج از آن هستند؟ پاسخ مورد انتظار: وزن‌های مدل به‌علاوه‌ی استخر KV؛ اکتیویشن‌ها، گراف‌ها، حافظه‌ی موقت تیونینگ خودکار (autotuning scratch) و همه‌ی برنامه‌های دیگر خارج از آن قرار دارند. به همین دلیل وقتی استخر 87 درصد از حافظه‌ی آزاد را گرفت، فضایی برای گذر رو به جلوی بعدی باقی نماند.
  • سطح 4: روی یک GPU اختصاصی، چه زمانی و چقدر این ضریب را افزایش می‌دهید؟ پاسخ مورد انتظار: فقط زمانی که لاگ اسکژولر پر شدن استخر و بازپس‌گیری‌ها را گزارش کند، و آن هم در گام‌های 0.02تایی؛ سقف مجاز را در محیط staging با طولانی‌ترین پرامپت‌ها به دست آورید، سرور را در production یک یا دو گام پایین‌تر از آن اجرا کنید و اگر پرامپت‌های طولانی در اتنشن دچار کمبود حافظه شدند، مقدار آن را پایین بیاورید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مقدار token usage برابر با 0.05 یعنی سرور اصلاً نزدیک به حداکثر ظرفیت نبوده است.» این مقدار یعنی استخر تقریباً خالی بوده است؛ استخر بخش اعظم حافظه را رزرو کرده بود و اکتیویشن‌های خارج از آن با کمبود فضا مواجه شدند؛ بنابراین خالی بودن استخر و کرش ناشی از کمبود حافظه از یک ریشه بودند.
  • «ضریب را بالا ببرید تا استخر بزرگ‌تر شود و کرش برطرف گردد.» منشأ کرش، کمبود حافظه‌ی خارج از استخر بود؛ ضریب بالاتر، سهم اکتیویشن‌ها و برنامه‌های دیگر را کم‌تر می‌کند، در حالی که کاهش آن به 0.4 مشکل را حل کرد.
  • «ضریب خودکار بهینه‌سازی شده است، پس نباید تغییرش داد.» این منطق فرض می‌کند کل سخت‌افزار منحصراً در اختیار موتور پردازش است؛ روی یک سیستم اشتراکی، اسنپ‌شات ابتدایی در تمام طول کار سرور پایدار نمی‌ماند، و اگر خواندن ظرفیت ممکن نباشد، ضریب روی 0.95 قفل می‌شود و در همان نخستین پیش‌پرکنی کرش می‌کند.
  • «خط مربوط به استخر، کل حافظه‌ی مصرفی سرور را گزارش می‌دهد.» استخر بزرگ‌ترین بخش است اما همه‌ی آن نیست؛ در یک گزارش، 25 تا 40 گیگابایت تخصیص کوتاه‌مدت ناشی از autotuner و ضبط گراف ثبت شد که اصلاً در این گزارش لحاظ نشده بود.

کجای دوره آموزش داده می‌شود

بخش --mem-fraction-static and startup sizing لاگ کرش، فرمول محاسباتی و راه‌اندازی‌های روی GB10 را شامل می‌شود.