در حافظهی یکپارچه (Unified Memory)، پردازندهی گرافیکی و سیستمعامل از یک فضای حافظهی مشترک استفاده میکنند؛ بنابراین حافظهی آزاد را علاوه بر GPU، از کل سیستم هم بخوانید.
شما vLLM را روی یک DGX Spark یا سیستم دیگری اجرا میکنید که CPU و GPU حافظهی مشترک دارند. با پایان این بخش، میتوانید کسری از حافظه را طوری تعیین کنید که فضای کافی برای سیستمعامل باقی بماند. همچنین متوجه میشوید چرا راهاندازی اول چندین دقیقه زمان میبرد.
نتیجهی ما: با کسر 0.75، وزنها 56.93 GiB و کش کلید-مقدار (KV cache) نیز 31.32 GiB از کل 121.69 GiB حافظه را پر کردند.
درک مفهوم «حافظهی GPU» در این سیستمها
تراشهی GB10 در DGX Spark حافظهی گرافیکی مجزا ندارد. پردازندهی اصلی و پردازندهی گرافیکی از همان حافظهی LPDDR5x استفاده میکنند که NVIDIA آن را بهصورت 128 GB عرضه میکند. در دستگاه ما، لاگ راهاندازی مقدار کل حافظه را 121.69 GiB گزارش کرد. سیستمعامل، کش صفحات سیستم (page cache) و بقیهی برنامهها نیز از همین حافظه استفاده میکنند.
نسخهی 0.31.0 فریمورک vLLM این موضوع را میداند. در گرافیک یکپارچه، حافظهی آزاد را از سیستمعامل میخواند؛ چون درایور GPU در این دستگاهها حافظهی آزاد را کمتر از واقعیت گزارش میدهد. همچنین درایور وقتی کل سیستم بیش از 80 درصد پر شود، حافظهی گرافیکی کششدهی خود را آزاد میکند. بنابراین --gpu-memory-utilization سهمی از کل دستگاه است، نه سهم یک کارت گرافیک مجزا.
کسر حافظه را یک سقف قطعی فرض نکنید
این کسر، سهمی را تعیین میکند که vLLM برای آن برنامهریزی دارد؛ اما در حافظهی یکپارچه لزوماً مصرف vLLM را محدود نمیکند. گزارش کاربران دیگر دو حالت را نشان میدهد که البته در تست ما دیده نشد:
- ایشوی 46307 از یک GB10 با کسر 0.70 گزارش میدهد که حین پروفایلگیریِ راهاندازی، در مقایسه با سهم حدود 83 GiB، حدود 112 GiB مصرف کرد. سیستم از کار افتاد و ایشو هم بدون ارائه راهحل بهدلیل بیفعالیت ماندن بسته شد.
- ایشوی 44740 تخمین منفی حافظهی گراف CUDA را با گمانهزنی MTP روی GB10 گزارش میدهد. کش کلید-مقدار بیش از حد بزرگ شد و سیستم هنگام راهاندازی با کمبود حافظه مواجه شد. این ایشو باز است.
در تست ما، اعداد کاملاً با سهم 0.75 همخوانی داشتند. این نتیجهی یک بار اجرا و بدون گمانهزنی بود.
برای تعیین اندازهی ثابت کش، همانطور که صفحهی خطای کمبود حافظه توضیح میدهد، مقدار آن را با --kv-cache-memory-bytes برحسب بایت تنظیم کنید. مطمئن شوید که مجموع وزنها، کش و چند GiB برای پروفایلگیری، جا برای سیستمعامل باقی بگذارد.
تعیین کسر حافظه
حجم وزنها، کش کلید-مقدار مدنظرتان و چند GiB برای پروفایل راهاندازی و گرافهای CUDA را با هم جمع کنید. حاصل را بر کل حافظه تقسیم کنید. برای سیستمعامل و کش صفحات که از همان حافظه استفاده میکنند، جا بگذارید.
اجرای ما با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 در فرمت BF16 از کسر 0.75 استفاده کرد:
| بخش | اندازه |
|---|---|
| سهم vLLM، برابر 0.75 از 121.69 GiB | 91.3 GiB |
| وزنها | 56.93 GiB |
| فضای آزاد برای کش کلید-مقدار | 31.32 GiB |
| باقیمانده برای پروفایل و گرافها | حدود 3 GiB |
با 96 KiB بهازای هر توکن، این 31.32 GiB حدود 342,000 توکن نگه میدارد. این مقدار برای بیش از 500 کاربر که هر کدام 640 توکن داشته باشند کافی است. آزمونهای چندحالتهی ما از یک استخر ثابت کوچکتر استفاده کردند. این کسر حدود 30 GiB برای سیستمعامل و سایر برنامهها جا باقی گذاشت.
ما فقط یک کسر را اجرا کردیم. بررسی مقادیر مختلف کسر در برابر استخر KV و فعالیت سواپ (swap activity) برنامهریزی شده و هنوز اجرا نشده است.
راهاندازی اول کند خواهد بود
راهاندازی اول بیش از 5 دقیقه طول کشید. لاگ نشان میدهد این زمان کجا رفته است:
(EngineCore pid=143) INFO 10-21 10:58:45 [model_runner.py:407] Model loading took 56.93 GiB memory and 330.542793 seconds330 ثانیه برای بارگذاری 56.93 گیبیبایت از وزنها.
مرحلهی بارگذاری، هر تنسور را یکییکی از فایل safetensors نگاشتشده در حافظه (memory-mapped) به حافظهی تخصیصیافتهی GPU کپی میکند. در GB10، کپی کردن از صفحهای که فایل پشتیبان دارد کُند است. یکی از ایشوهای باز vLLM برای هر تنسورِ کپیشده از نمای فایل، حدود 1.7 میلیثانیه اندازه گرفته است. کپی در حافظهی هاست در آغاز، حدود 0.2 میلیثانیه زمان برد.
نسخهی 0.31.0 بخش متفاوتی از بارگذاری را سریعتر کرد. جستوجوی نمایهشدهی نام متخصصها حدود 25 ثانیه روی DGX Spark صرفهجویی میکند. با این حال هزینهی کپی هر تنسور همچنان پابرجاست.
دو نکته کمک میکند:
- وزنها را روی درایو محلی NVMe نگه دارید، نه روی مسیر اشتراکی شبکه.
- سرور را یک بار راه بیندازید و روشن نگه دارید. با هر راهاندازی مجدد، تاوان کامل زمان بارگذاری را میپردازید.
بررسی کسر حافظه
بعد از راهاندازی، دو خط حافظه و همچنین حافظهی سیستم را بخوانید:
grep -E "Model loading took|Available KV cache memory|GPU KV cache size" server.log
free -g
اگر خروجی free -g نشان داد در حالت آمادهبهکار سرور تقریباً هیچ حافظهی آزادی نمانده است، کسر را 0.05 کم کنید و دوباره سیستم را راه بیندازید. اگر خط کش کلید-مقدار از سهم مجازتان بزرگتر است، اندازهی کش را بهجای آن برحسب بایت تنظیم کنید.
منابع: سورسکد vLLM در v0.31.0 (فایلهای vllm/utils/mem_utils.py و vllm/platforms/cuda.py)، یادداشتهای انتشار v0.31.0 (بارگذاری وزنها روی DGX Spark)، ایشوی 58726 در vLLM (کندی بارگذاری وزنها روی GB10)، پولریکوئست 58720 در vLLM (جستوجوی نمایهشدهی متخصصها در بارگذاری وزنها)، فایلهای capture/gpu/out-gb10/server-load-vllm.log و capture/gpu/summary/gb10.json، ایشوی 44740 در vLLM (تخمین منفی حافظهی گراف CUDA با گمانهزنی MTP روی GB10)، ایشوی 46307 در vLLM (مصرف حافظه فراتر از سهم در طول پروفایلگیری راهاندازی روی GB10)، مستندات vLLM در v0.31.0 (فلگ --kv-cache-memory-bytes).