وضعیت
تیمی مدل Qwen/Qwen3-30B-A3B-Instruct-2507 را روی مجموعهای از ماشینهای GB10 پشت یک مقیاسپذیر خودکار (autoscaler) سرو میکند. هنگام جهش ناگهانی ترافیک، مقیاسپذیر خودکار رپلیکاهای (replica) جدیدی راه میاندازد. هر رپلیکای جدید بیش از پنج دقیقه طول میکشد تا به نخستین درخواست پاسخ دهد؛ بنابراین مقیاسپذیر خودکار آن را ناسالم (unhealthy) فرض میکند و رپلیکاهای بیشتری میسازد. زمانی که این رپلیکاها بالا میآیند، جهش ترافیک تمام شده است و تیم باید هزینهی ماشینهایی را بدهد که عملاً به هیچ درخواستی پاسخ ندادهاند.
حدس اول ایمیجپول (image pull) یا شبکه است. لاگها هر دو را رد میکنند: ایمیج کانتینر از قبل روی هر ماشین وجود داشت و وزنها هم روی درایو NVMe محلی ذخیره شده بودند. حدس دوم این است که مدل برای این ماشین بیش از اندازه بزرگ است، ولی هر رپلیکا پس از بالا آمدن بهخوبی پاسخ میدهد.
- نسخه
- vLLM 0.31.0 in its release container
- مدل
- Qwen/Qwen3-30B-A3B-Instruct-2507
- سختافزار
- one GB10 with 128 GB of unified memory
شواهد
compile-time.txt
title: the compile and the warmup
source: manuals/vllm-101/capture/gpu/out-gb10/server-load-vllm.log
lines: 54-55
lang: text
note: Compare these seconds with the weight load.
---
(EngineCore pid=143) INFO 10-21 10:59:05 [monitor.py:53] torch.compile took 18.67 s in total
(EngineCore pid=143) INFO 10-21 10:59:05 [monitor.py:81] Initial profiling/warmup run took 0.40 s
graphs-and-pool.txt
title: the graph capture and the KV cache sizing
source: manuals/vllm-101/capture/gpu/out-gb10/server-load-vllm.log
lines: 58-62
lang: text
note: Read the capture time, the free memory for the cache, and the block override in the second to last line.
---
(EngineCore pid=143) INFO 10-21 10:59:45 [model_runner.py:1087] Graph capturing finished in 39 secs, took 1.17 GiB
(EngineCore pid=143) INFO 10-21 10:59:46 [gpu_worker.py:692] Available KV cache memory: 31.32 GiB
(EngineCore pid=143) INFO 10-21 10:59:46 [gpu_worker.py:707] CUDA graph memory profiling is enabled (default since v0.21.0). The current --gpu-memory-utilization=0.7500 is equivalent to --gpu-memory-utilization=0.7399 without CUDA graph memory profiling. To maintain the same effective KV cache size as before, increase --gpu-memory-utilization to 0.7601. To disable, set VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS=0.
(EngineCore pid=143) INFO 10-21 10:59:46 [kv_cache_utils.py:2772] Overriding num_gpu_blocks=21381 with num_gpu_blocks_override=14685
(EngineCore pid=143) INFO 10-21 10:59:46 [kv_cache_utils.py:2464] GPU KV cache size: 234,960 tokens, Maximum concurrency for 8,192 tokens per request: 28.68x
memory-split.txt
title: the memory accounting line at the end of startup
source: manuals/vllm-101/capture/gpu/out-gb10/server-load-vllm.log
lines: 94-94
lang: text
note: Add the three actual numbers and compare the sum with the desired share.
---
(EngineCore pid=143) INFO 10-21 11:00:51 [gpu_worker.py:955] Free memory on device (114.94/121.69 GiB) on startup. Desired GPU memory utilization is (0.75, 91.27 GiB). Actual usage is 58.16 GiB for consumed memory (weights + non-torch), 1.78 GiB for peak activation, and 0.31 GiB for CUDAGraph memory. Replace gpu_memory_utilization config with `--kv-cache-memory=33136484864` (30.86 GiB) to fit into requested memory, or `--kv-cache-memory=58555694592` (54.53 GiB) to fully utilize gpu memory. Current kv cache memory in use is 31.32 GiB.
the-settings.txt
title: the settings of the server that started
source: manuals/vllm-101/capture/gpu/out-gb10/server-load-vllm.log
lines: 7-7
lang: text
note: Read the memory fraction and the block override.
---
(APIServer pid=1) INFO 10-21 10:53:02 [api_utils.py:286] non-default args: {'model_tag': 'Qwen/Qwen3-30B-A3B-Instruct-2507', 'host': '127.0.0.1', 'port': 30000, 'model': 'Qwen/Qwen3-30B-A3B-Instruct-2507', 'max_model_len': 8192, 'gpu_memory_utilization': 0.75, 'num_gpu_blocks_override': 14685}
weight-load.txt
title: the end of the weight load
source: manuals/vllm-101/capture/gpu/out-gb10/server-load-vllm.log
lines: 41-44
lang: text
note: Read the seconds in the first and the last line, and the memory that the weights took.
---
(EngineCore pid=143) INFO 10-21 10:58:44 [default_loader.py:484] Loading weights took 325.26 seconds
(EngineCore pid=143) INFO 10-21 10:58:44 [unquantized.py:504] Using MoEPrepareAndFinalizeNoDPEPModular
(EngineCore pid=143) INFO 10-21 10:58:44 [unquantized.py:505] Using FlashInferExperts MoE backend
(EngineCore pid=143) INFO 10-21 10:58:45 [model_runner.py:407] Model loading took 56.93 GiB memory and 330.542793 seconds
سؤالها
- خطوط راهاندازی را به ترتیب بخوانید. این پنج دقیقه صرف چه شد و چقدر از آن به کپی وزنها مربوط بود؟
- در این ماشین، وزنها و تخصیص حافظهی GPU در یک حافظه قرار دارند. چرا بارگذاری همچنان چندین دقیقه طول میکشد؟
- کدام خطوط نشان میدهند که سرور طبق برنامه اندازهاش را تعیین کرده است، و دربارهی سهم 0.75 روی این ماشین چه میگویند؟
- راهاندازی دوبارهی همان ایمیج روی همان ماشین از چه مراحلی صرفنظر میکند و چه هزینهای را باید دوباره بپردازد؟
- در یک گزارش میدانی، زمان شروع سرد (cold start) موتور دیگری از 695 ثانیه به 88 ثانیه و سپس به 9.6 ثانیه رسید. هر گام کدام هزینه را حذف کرد، و کدامیک از این گامها برای این مسئله کاربرد دارد؟
- این شواهد چگونه طراحی مقیاسپذیری خودکار را تغییر میدهد؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
لاگ را مانند یک خط زمانی بخوانید. بارگذار وزنها بعد از 325.26 ثانیه کارش تمام شده است، و خط مربوط به بارگذاری مدل، 56.93 GiB حافظه و 330.542793 ثانیه زمان را گزارش میکند. کامپایل در کل 18.67 ثانیه و گرمکردن (warmup) حدود 0.40 ثانیه طول کشید. ثبت گراف (graph capture) در 39 ثانیه تمام شد و 1.17 GiB فضا گرفت. بنابراین وزنها تقریباً تمام زمان راهاندازی را مصرف میکنند، و کامپایل و گرافها در مجموع حدود یک دقیقه از آن را به خود اختصاص میدهند.
پرسش دوم این است که چرا کپی درون یک حافظه اینقدر طول میکشد. بارگذار (loader) هر تنسور (tensor) را یکییکی از فایل نگاشتشده در حافظه (memory-mapped) با فرمت safetensors در فضای تخصیصیافتهی GPU کپی میکند. در GB10، کپی کردن از صفحهای با پشتوانهی فایل (file-backed page) کند است. یک ایشوی باز در ردیاب باگهای این موتور، زمان کپی هر تنسور از نمای فایلی را حدود 1.7 میلیثانیه اندازه گرفته بود، در حالی که همین کپی اگر از حافظهی میزبان (host memory) شروع میشد حدود 0.2 میلیثانیه زمان میبرد. در نسخهی 0.31.0 بخش دیگری از بارگذاری سریعتر شد: جستوجوی نمایهگذاریشدهی نام اکسپرتها که روی این ماشین حدود 25 ثانیه صرفهجویی میکند؛ اما هزینهی کپی هر تنسور همچنان به قوت خود باقی است. این مشکل با یک فلگ حل نمیشود.
خطوط مربوط به تعیین اندازه نشان میدهند که برنامهی حافظه درست پیش رفته است. خط تنظیمات سهم 0.75 و بازنویسی دستیِ (override) 14,685 بلوک را خواسته بود. سرور 31.32 GiB حافظهی در دسترس برای کش کلید-مقدار (KV cache) پیدا کرد، شمارش خودکار خود یعنی 21,381 بلوک را کنار گذاشت و آن را با 14,685 بلوک درخواستی بازنویسی کرد، و استخری با ظرفیت 234,960 توکن (token) گزارش داد که برای 28.68 درخواست همزمان با طول 8,192 توکن کافی است. خط حسابرسی در انتها تمام این تقسیمبندی را نشان میدهد: 114.94 از 121.69 GiB در زمان راهاندازی آزاد بود، سهم هدف با ضریب 0.75 برابر با 91.27 GiB میشد، و مصرف واقعی شامل 58.16 GiB برای وزنها و سایر بخشهای حافظه، 1.78 GiB برای اوج اکتیویشن و 0.31 GiB برای گرافها بود، در حالی که 31.32 GiB کش در حال استفاده قرار داشت. در حافظهی یکپارچه (Unified Memory) این کسر سهمی از کل ماشین است، و باقیمانده برای سیستمعامل و کش صفحههای آن آزاد میماند.
شروع دوباره روی همان ماشین هزینهی وزنها را تکرار میکند. داستان کامپایل اما فرق دارد: لاگ نشان میدهد موتور، تابع کامپایلشدهاش را در یک دایرکتوری کش ذخیره میکند؛ بنابراین راهاندازی بعدی بهجای کامپایل دوباره همان را بارگذاری خواهد کرد. ثبت گراف تکرار میشود. گزارش میدانی در مستندات SGLang که برگرفته از پست وبلاگ یک مهندس در آوریل 2026 روی سروری با هشت GPU است، همین فازها را روی موتور دیگر زمانسنجی کرد: 695 ثانیه در شروع سرد، که 531 ثانیهی آن مربوط به بارگذاری وزنها بود. نگهداشتن کشهای کرنل (kernel) بین دفعات اجرا، زمان را در شروع گرم به 88 ثانیه رساند، و یک چکپوینتِ فرایند (process checkpoint) همراه با انتقال مقدماتی وزنها به حافظهی میزبان زمان را تا 9.6 ثانیه پایین آورد. گام اول، یعنی متصلکردن مسیر کش (cache mount)، در اینجا هم قابل استفاده است. گام آخر نیازمند حافظهی میزبان است تا وزنها در آن منتظر بمانند؛ فضایی که این ماشین آن را با GPU به اشتراک میگذارد.
نتیجه
شروع سرد همان کپی وزنها است: 325.26 ثانیه از کل 330 ثانیهی بارگذاری، و هیچ فلگی در سرور این زمان را کم نمیکند. تیم طراحی خود را بر اساس این واقعیت تغییر میدهد. هر رپلیکا یک بار بالا میآید و روشن میماند، چون بالا آوردن دوباره هزینهی بارگذاری کامل را تکرار میکند. وزنها همیشه روی درایو NVMe محلی میمانند و هرگز روی مانت شبکهای قرار نمیگیرند. دایرکتوری کش کامپایل روی ولومی قرار میگیرد که با حذف کانتینر از بین نرود، بنابراین شروع دوم از کامپایل 18.67 ثانیهای صرفنظر میکند.
مقیاسپذیر خودکار به دو شکل تغییر میکند. آزمون ارزیابیِ (probe) آمادهبهکاری آن منتظر خط راهاندازی برنامه و یک درخواست کوتاه میماند؛ در ضمن، رپلیکایی که هنوز در حال بارگذاری است در وضعیت «در حال راهاندازی» در نظر گرفته میشود نه «ناسالم»، در نتیجه مقیاسپذیر خودکار دست از اضافهکردن پیدرپیِ رپلیکاها برمیدارد، آن هم وقتی رپلیکاهای قبلی در آستانهی بالا آمدن هستند. سیگنال مقیاسپذیری هم از صف جاری به یک پیشبینی منتقل میشود؛ پیشبینیای که زمان پیشنگری آن طولانیتر از شش دقیقهی لازم برای بالا آمدن یک نمونه باشد، یا اینکه مجموعه ماشینها تعدادی رپلیکای آمادهبهکارِ گرم (warm standby) نگه میدارد که از قبل بارگذاری شدهاند. روی این ماشین نسبت 0.75 حدود 31.32 GiB برای کش باقی گذاشت. بازنویسی دستیِ تعداد بلوکها، ظرفیت استخر را روی 234,960 توکن محدود کرد؛ در حالی که بدون این بازنویسی، همان حافظه با نرخ 96 KiB بهازای هر توکن حدود 342,000 توکن را نگه میدارد. بنابراین یک رپلیکای آمادهبهکار بهتنهایی میتواند بخش بزرگی از جهش ترافیک را پوشش دهد.
مسیرهای اشتباه رایج
- «ایمیجپول کند است، آن را کش کنید.» ایمیج محلی بود. طبق لاگ، بعد از بالا آمدن کانتینر 325.26 ثانیه صرف بارگذار وزنها شده است.
- «وقتی صف رشد کرد سریعتر رپلیکا اضافه کنید.» هر رپلیکا باید همان پنج دقیقه را بگذراند، در حالی که عمر جهش ترافیکی کمتر از این زمان است. بالا آوردن رپلیکاهای بیشتر که دیر میرسند فقط هزینه میتراشد بدون اینکه درخواستی را سرو کنند.
- «سهم حافظه را کمتر کنید تا سرور زودتر بالا بیاید.» این نسبت فقط اندازهی کش را تعیین میکند نه سرعت کپی را. وزنها با هر نسبتی همان 56.93 GiB فضا و 325.26 ثانیه زمان را میگیرند.
- «کامپایل و گرافها را خاموش کنید تا یک دقیقه صرفهجویی شود.» این دو با هم حدود یک دقیقه از راهاندازی پنج دقیقهای را میگیرند، کامپایل بعد از راهاندازی اول کش میشود، و هر دو در تمام طول عمر رپلیکا در تکتک مراحل رمزگشایی (decode) اثر مثبت خود را نشان میدهند.
درس کلی
وقتی راهاندازی کند است، قبل از هر تغییری زمان فازهای مختلف را بررسی کنید؛ چرا که سنگینترین فاز معمولاً فازی است که هیچ فلگی برای تنظیم آن وجود ندارد. سپس طراحی سیستم را بر پایهی آن اصلاح کنید: راهاندازی دوباره را به حداقل برسانید، آنچه را که در راهاندازی دوباره قابل استفاده است روی ذخیرهساز ماندگار نگه دارید، و به مقیاسپذیر خودکار سیگنالی بدهید که زمان پیشنگری آن بیشتر از مدت راهاندازی باشد. رپلیکایی که در حال بارگذاری است ناسالم نیست؛ آزمون ارزیابی اگر نتواند این تفاوت را تشخیص دهد، کل مجموعه را فلج میکند.
کجای دوره آموزش داده میشود
مستندات vLLM این لاگ راهاندازی را در صفحهی DGX Spark بررسی میکند، نسبت کامپایل و ثبت گراف را در صفحهی کامپایل میسنجد، و ایمیج و درایور را در نسخههای تثبیتشده مشخص میکند؛ همچنین مستندات SGLang دایرکتوریهای کش و گزارش میدانی را در صفحهی عملیاتیسازی ارائه میدهد.