سؤال مصاحبه

تعیین سهم حافظه در معماری حافظه‌ی یکپارچه

Pick the memory fraction on unified memory

  • سطح ۳: ارشد
  • تخمین
  • ۱۰ دقیقه

فرض کنید می‌خواهید یک مدل 30B با لایه‌های ترکیبی از متخصصان (Mixture-of-Experts) را به‌صورت BF16 روی سرور GB10 اجرا کنید؛ ماشینی که در آن پردازنده و پردازنده‌ی گرافیکی از یک حافظه‌ی اشتراکی 128 گیگابایتی تغذیه می‌کنند و سیستم‌عامل به‌همراه سایر برنامه‌ها نیز در همان استخر مشترک قرار دارند. چطور باید سهم حافظه (Memory Fraction) را تعیین کنید، این نسبت چه مواردی را در چنین ماشینی تضمین نمی‌کند، و چرا اندازه‌ی استخر حافظه میان دو بار اجرای یک دستور یکسان تغییر می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

وزن‌ها، حجم کش کلید-مقدار (KV cache) مورد نیازتان و چند گیبی‌بایت اضافه برای پروفایل اولیه‌ی راه‌اندازی و گراف‌ها را با هم جمع کنید، بر کل حافظه تقسیم کنید و حواستان باشد که برای کش صفحات کرنل و سایر برنامه‌ها، که از همان حافظه استفاده می‌کنند، فضای خالی باقی بگذارید. با نسبت 0.75، اجرای vLLM در مستندات 91.3 گیبی‌بایت از مجموع 121.69 گیبی‌بایت را اشغال کرد: 56.93 گیبی‌بایت برای وزن‌ها، 31.32 گیبی‌بایت برای کش (حدود 342,000 توکن با حجم 96 کیبی‌بایت به‌ازای هر توکن)، و حدود 3 گیبی‌بایت برای مابقی بخش‌ها که در نهایت حدود 30 گیبی‌بایت برای بقیه‌ی برنامه‌ها باقی گذاشت. در حافظه‌ی یکپارچه (Unified Memory)، این کسر حافظه صرفاً یک هدف‌گذاری است نه یک سقف سفت‌وسخت؛ همچنین اندازه‌ی استخر حافظه میان دفعات راه‌اندازی جابه‌جا می‌شود، زیرا موتور اجرایی ظرفیت آن را بر اساس اسنپ‌شاتی از حافظه‌ی آزاد اندازه می‌گیرد که کش فایل کرنل مدام آن را تغییر می‌دهد.

پاسخ کامل

مفهوم حافظه‌ی گرافیکی در این معماری

دستگاه GB10 حافظه‌ی گرافیکی مجزا ندارد. پردازنده و پردازنده‌ی گرافیکی از یک استخر حافظه‌ی LPDDR5x مشترک استفاده می‌کنند که به‌صورت 128 گیگابایتی فروخته می‌شود؛ اما لاگ راه‌اندازی ظرفیت کل را 121.69 گیبی‌بایت گزارش کرد. روی یک پردازنده‌ی گرافیکی یکپارچه، vLLM حافظه‌ی آزاد را مستقیماً از سیستم‌عامل می‌خواند، چرا که درایور مقدار کمتری از واقعیت را گزارش می‌دهد، و زمانی که بیش از 80 درصد ظرفیت کل سیستم پر شود، حافظه‌ی گرافیکی کش‌شده‌ی خود را آزاد می‌کند. بنابراین این نسبت، سهمی از کل ماشین است، نه سهمی از یک کارت مجزا.

بودجه‌بندی حافظه با نسبت 0.75

بخش اندازه
سهم vLLM (نسبت 0.75 از 121.69 گیبی‌بایت) 91.3 گیبی‌بایت
وزن‌ها 56.93 گیبی‌بایت
فضای آزاد برای کش کلید-مقدار 31.32 گیبی‌بایت
مابقی فضا، برای پروفایل اولیه و گراف‌ها حدود 3 گیبی‌بایت

با در نظر گرفتن 96 کیبی‌بایت به‌ازای هر توکن، این کش گنجایش حدود 342,000 توکن را دارد که برای بیش از 500 کاربر با 640 توکن برای هر نفر کافی است. حدود 30 گیبی‌بایت برای سیستم و سایر برنامه‌ها باقی ماند. راهنما فقط همین یک نسبت را اجرا کرده و صراحتاً هم به آن اشاره می‌کند.

این سهم حافظه سقفی قطعی نیست

دو گزارش نشان می‌دهند که موتور اجرایی در طول پروفایل راه‌اندازی روی این ماشین، بیش از سهم تعیین‌شده‌اش حافظه مصرف کرده است. در یکی از آن‌ها با نسبت 0.70، مصرف حافظه در برابر سهم پیش‌بینی‌شده‌ی حدوداً 83 گیبی‌بایتی به حدود 112 گیبی‌بایت رسید و ماشین کاملاً از پاسخ‌گویی بازماند. در نمونه‌ای دیگر، با استفاده از روش گمانه‌زنی (Speculative Method)، تخمین حافظه‌ی گراف با مقداری منفی مواجه شد؛ در نتیجه کش بیش از حد رشد کرد و فرایند راه‌اندازی با کمبود حافظه روبه‌رو شد. اجرای خود راهنما با نسبت 0.75 و بدون گمانه‌زنی، کاملاً با سهم تعیین‌شده هم‌خوانی داشت. اگر می‌خواهید اندازه‌ی کش را کاملاً ثابت نگه دارید، آن را مستقیماً بر حسب بایت با آرگومان --kv-cache-memory-bytes مشخص کنید و مطمئن شوید که وزن‌ها، کش و چند گیبی‌بایت برای پروفایل، فضای کافی برای سیستم‌عامل باقی می‌گذارند.

مستندات SGLang گزارش تجربی دیگری را نیز اضافه می‌کند: تخصیص‌های کوتاه‌مدت 25 تا 40 گیگابایتی خارج از حساب‌رسی حافظه، که ناشی از تنظیم‌کننده‌ی خودکار کرنل و ثبت گراف هستند؛ این اتفاق هاست را فریز کرد تا اینکه سرور در نهایت داخل یک کانتینر با سقف حافظه و نسبت 0.50 اجرا شد. روی یک سرور اشتراکی GB10، سرور را درون کانتینری با محدودیت حافظه اجرا کنید و در زمان راه‌اندازی هر ثانیه یک‌بار از حافظه‌ی آزاد لاگ بگیرید.

دلیل تغییر اندازه‌ی استخر میان دفعات راه‌اندازی

فریم‌ورک SGLang اندازه‌ی استخر را بر اساس اسنپ‌شاتی از حافظه‌ی آزاد پس از بارگذاری وزن‌ها تعیین می‌کند و وزن‌ها را معادل با کاهش حافظه‌ی دردسترس اندازه می‌گیرد. شش بار اجرای BF16 یک دستور یکسان با وزن‌های مشابه روی GB10، وزن‌ها را بین 54.78 تا 57.92 گیگابایت ارزیابی کرد و استخرهایی با ظرفیت 227,243 تا 258,017 توکن به دست داد؛ یعنی 14 درصد اختلاف. کش فایل کرنل در طول هر بارگذاری تغییر می‌کرد. روی حافظه‌ی یکپارچه، اندازه‌ی استخر در یک بار اجرا فقط تخمینی برای اجرای بعدی است؛ پس در هر بار راه‌اندازی خط مربوط به استخر را بخوانید.

سایر برنامه‌ها استخر را می‌بینند

این استخر ده‌ها گیگابایت حجم دارد و موتور اجرایی آن را ظرف چند ثانیه تخصیص می‌دهد؛ بنابراین تمام برنامه‌های دیگر تخلیه‌ی این حجم از حافظه را می‌بینند. روی سرور GB10 راهنما، یک دیمن پایش حافظه در زمان راه‌اندازی اسکژولر را سه بار متوقف کرد، چون حافظه در عرض 5 ثانیه 36.7 گیبی‌بایت افزایش یافت و فقط 34.2 گیبی‌بایت حافظه باقی مانده بود. پیش از شروع اجرا، به سایر کاربران ماشین اطلاع دهید و فقط به‌خاطر خط‌های کمبود حافظه‌ی درایور هشدار تعریف نکنید؛ بلکه ملاک هشدار را عدم سلامت سرور قرار دهید.

چه زمانی استخر بزرگ‌تر به‌صرفه است؟

افزایش نسبت در SGLang از 0.7 به 0.82 روی سرور GB10، استخر BF16 را از 234,600 به 383,065 توکن (63 درصد) رساند، اما نرخ پردازش (Throughput) در حلقه‌ی بسته با 64 کاربر، تغییری کمتر از 2 درصد نشان داد: 238.72 توکن در ثانیه در برابر 235.38 توکن؛ چون مصرف توکن در اوج خود به 11 درصد رسید. در سوی دیگر، با اعمال یک نرخ ورودی ثابت بالاتر از ظرفیت سرویس‌دهی ماشین، استخر کوچک‌تر با 101 درخواست در صف انتظار به 96 درصد ظرفیت رسید، در حالی که استخر بزرگ‌تر همه‌ی 480 درخواست را در خود جا داد و ماشین 5.19 درخواست در ثانیه را پردازش کرد که در مقایسه با 3.88 درخواست در ثانیه، 34 درصد بیشتر بود. اندازه‌ی استخر را بر اساس مصرف توکن در اوج بار (با احتساب جهش‌های ناگهانی) تعیین کنید، نه بر اساس حافظه‌ی آزاد.

راه‌اندازی اول کند خواهد بود

بارگذاری 56.93 گیبی‌بایت روی این ماشین 330 ثانیه طول کشید، چون هر تنسور تک‌به‌تک از یک فایل نگاشت‌شده در حافظه کپی می‌شود؛ حدود 1.7 میلی‌ثانیه برای هر تنسور از نمای فایل در مقایسه با 0.2 میلی‌ثانیه از حافظه‌ی هاست. وزن‌ها را روی دیسک محلی نگه دارید و بگذارید سرور پیوسته در حال اجرا بماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: دستور free -g در حالی که سرور بیکار است تقریباً هیچ حافظه‌ی آزادی نشان نمی‌دهد. چه می‌کنید؟ پاسخ مورد انتظار: نسبت حافظه را 0.05 کاهش دهید و دوباره شروع کنید؛ سیستم و کش صفحات آن در همین استخر شریک هستند، و اگر خط کش بزرگ‌تر از سهم مجاز باشد، به‌جای نسبت، اندازه‌ی کش را بر حسب بایت تعیین کنید.
  • سطح 3: یک دستور یکسان در دو روز متفاوت استخرهایی با ظرفیت 227,243 و 258,017 توکن ایجاد کرد. آیا مشکلی پیش آمده؟ پاسخ مورد انتظار: خیر؛ موتور اجرایی اندازه‌ی استخر را از روی اسنپ‌شات حافظه‌ی آزاد پس از بارگذاری وزن‌ها تعیین می‌کند. کش فایل کرنل در طول هر بارگذاری تغییر کرده و در نتیجه اندازه‌ی اندازه‌گیری‌شده‌ی وزن‌ها حدود 3 گیگابایت تفاوت پیدا کرده و استخر هم با آن تغییر کرده است؛ در هر بار راه‌اندازی خط مربوط به استخر را بخوانید.
  • سطح 4: بالا بردن نسبت از 0.7 به 0.82 در بار ترافیکی 64 کاربر هیچ تغییری ایجاد نکرد، اما در شرایط اضافه‌بار (Overload)، نرخ پردازش را یک‌سوم افزایش داد. این دو رفتار را چطور توجیه می‌کنید؟ پاسخ مورد انتظار: در حلقه‌ی بسته استخر هرگز پر نشد و اوج مصرف توکن به 11 درصد رسید، بنابراین استخر بزرگ‌تر کاری برای انجام دادن نداشت؛ اما تحت یک نرخ ورودی ثابت فراتر از توان سرویس‌دهی ماشین، استخر کوچک‌تر با 101 درخواست در صف به 96 درصد ظرفیت رسید و استخر بزرگ‌تر همه‌ی 480 درخواست را مدیریت کرد. پس اندازه‌ی استخر را از روی مصرف توکن در بار ترافیکی پیک به همراه جهش‌های آن تعیین کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نسبت حافظه سقفی قطعی برای سهم مصرفی سرور تعیین می‌کند.» روی حافظه‌ی یکپارچه، این عدد صرفاً سهمی را مشخص می‌کند که موتور برای آن برنامه‌ریزی می‌کند؛ در یک گزارش، با نسبت 0.70 حین پروفایل راه‌اندازی حدود 112 گیبی‌بایت مصرف شد (در برابر سهم پیش‌بینی‌شده‌ی حدود 83 گیبی‌بایت) و ماشین از پاسخ‌گویی بازماند.
  • «نسبت را تا جای ممکن بالا ببرید تا بزرگ‌ترین استخر حافظه را بگیرید.» سیستم و کش صفحات آن از همان حافظه استفاده می‌کنند، و حافظه‌ای که نیاز ندارید حافظه‌ای است که برنامه‌ی دیگر نمی‌تواند از آن استفاده کند؛ در GB10، افزایش 63 درصدی حجم استخر کمتر از 2 درصد روی نرخ پردازش در حلقه‌ی بسته تأثیر گذاشت.
  • «اندازه‌ی استخر دیروز همان اندازه‌ی استخر امروز است.» شش بار راه‌اندازی با دستور یکسان، استخرهایی با 14 درصد اختلاف ثبت کردند، چرا که اسنپ‌شات حافظه‌ی آزاد تغییر کرده بود؛ در هر بار اجرا خط مربوط به آن را بخوانید.
  • «کند بودن راه‌اندازی اول یعنی مشکلی وجود دارد.» بارگذاری 56.93 گیبی‌بایت از یک نگاشت متکی به فایل روی این ماشین 330 ثانیه زمان برد؛ حدود 1.7 میلی‌ثانیه برای هر تنسور در برابر 0.2 میلی‌ثانیه از حافظه‌ی هاست. وزن‌ها را روی حافظه‌ی محلی بگذارید و بگذارید سرور بالا بماند.

کجای دوره آموزش داده می‌شود

درس‌های تعیین اندازه‌ی حافظه روی DGX Spark و پارامتر mem-fraction-static-- و تعیین ظرفیت در راه‌اندازی این نسبت را روی همین ماشین ارزیابی می‌کنند.