نسخههای جدید vLLM تقریباً هر دو هفته یکبار منتشر میشوند؛ بنابراین نسخهی ایمیج را قفل کنید و برای شروع سرد (cold start) و ارتقاها برنامه داشته باشید.
سرور شما باید در برابر راهاندازیهای مجدد و ارتقاها دوام بیاورد. پس از پایان این بخش، میتوانید سروری را مستقر کنید که سریع بالا میآید و بدون دردسر ارتقا پیدا میکند.
نسخهی ایمیج را قفل کنید
همیشه یک نسخهی دقیق مانند vllm/vllm-openai:v0.31.0 را مشخص کنید و هرگز سراغ برچسب latest نروید. تقریباً هر دو هفته یک نسخهی فرعی جدید عرضه میشود که در هر کدام مقادیر پیشفرض تغییر میکنند یا فلگهایی حذف میشوند. برای نمونه، در فاصلهی بین نسخهی 0.30 تا 0.32:
- در نسخهی 0.31 فلگ
--enforce-eagerطوری تغییر کرد که مرحلهی گرمکردن کرنل (kernel warmup) را هم رد کند. - در نسخهی 0.31 نام فلگ مربوط به کش پیشوند Mamba تغییر کرد و حالت توکنایزر کند حذف شد.
- در نسخهی 0.32 پشتیبانی از Python 3.10 متوقف شد و مقدار پیشفرض مبداهای CORS از «همهی مبداها» به «هیچ مبدایی» تغییر یافت.
تغییر آخر باعث از کار افتادن کلاینتهای مرورگری میشود که مستقیماً به سرور درخواست میفرستند. پس از ارتقا به نسخهی 0.32، مقدار --allowed-origins را روی مبداهای مورد اعتمادتان تنظیم کنید.
برای شروع سرد برنامهریزی کنید
فرایند راهاندازی سرور سه بخش زمانبر دارد: بارگذاری وزنها، کامپایل، و ثبت گراف CUDA. روی سیستم DGX Spark ما، صرفاً بارگذاری مدل برای 57 GiB حدود 330 ثانیه طول کشید.
- وزنها. آنها را روی دیسک محلی نگه دارید. مانت تحت شبکه یا دانلود دوبارهی وزنها، سرعت هر بار راهاندازی را کمتر میکند.
- کامپایل. ابزار vLLM کدهای کامپایلشده را در مسیر
~/.cache/vllmکش میکند. این پوشه را روی یک حافظهی ماندگار (persistent volume) نگه دارید تا هنگام راهاندازی مجدد، دوباره از همان فایلها استفاده شود. - پیشبارگذاری. در نسخهی 0.31 قابلیت
vllm preloadاضافه شد که مدل را پیش از نیاز سرور به آن، بارگذاری و گرم میکند.
دستور vllm bench startup مدتزمان شروع سرد و شروع گرم را اندازه میگیرد. این آزمون را به ازای هر ایمیج جدید یکبار اجرا کنید.
روی سختافزار ما اندازهگیری نشده است: مدتزمان شروع گرم همراه با حفظ کش کامپایل را ثبت نکردهایم.
سلامت سرور را پیش از ارسال ترافیک بررسی کنید
برای پروب زنده بودن (liveness probe) از /health استفاده کنید. برای پروب آمادهبهکار بودن (readiness probe)، یک درخواست واقعی و کوتاه بفرستید تا ثابت کند موتور توانایی تولید خروجی را دارد. برای هر دو پروب، تاخیر اولیهای در نظر بگیرید که از مدتزمان شروع سرد اندازهگیریشده بیشتر باشد.
سرور را بهدرستی متوقف کنید
به فرایند سرور سیگنال SIGTERM بفرستید و هرگز آن را بهصورت اجباری متوقف (forced kill) نکنید. پیش از خاموش کردن، پاد (pod) را از لود بالانسر خارج کنید تا درخواست جدیدی به سمت آن نیاید. مهلت پایان کار (grace period) پاد را دستکم به اندازهی طولانیترین درخواستتان در نظر بگیرید؛ چراکه توقف اجباری، همهی درخواستهای در حال اجرا را قطع میکند.
تنظیمات را با این ترتیب تغییر دهید
هر بار فقط یک تنظیم را تغییر دهید و بعد از هر تغییر، آن را بسنجید:
- حافظه: حداکثر طول و سهم حافظه.
- همروندی: مقدار
--max-num-seqsو سهمیهی توکن (token budget). - انواع داده: ابتدا کش کلید-مقدار (KV cache) از نوع FP8، سپس وزنهای FP8.
- قابلیتهای افزایش سرعت: دیکودینگ حدسی (speculative decoding) و سطح کامپایل.
هر گام بعدی به گامهای قبلی وابسته است. اگر قابلیت افزایش سرعتی را روی سروری بسنجید که با کمبود حافظه روبهرو است، عملاً کمبود حافظه را اندازهگیری کردهاید، نه کارایی آن قابلیت را.
هشدارهای امنیتی را بررسی کنید
تیم vLLM در بازهی انتشار نسخههای 0.31 و 0.32 دهها هشدار امنیتی منتشر کرد که سطح خطر چندتایی از آنها بالا بود. بخش زیادی از این رخنهها از سمت ورودیهای چندحالته (multimodal) و برخی دیگر از طریق اتصالدهندههای (connectors) انتقال کش کلید-مقدار شکل گرفته بودند. هرگز سرور را بدون یک گیتوی در اینترنت در دسترس عموم نگذارید. همانطور که در صفحهی گزینههای سرور آمده است، از --api-key استفاده کنید و قبل از انتخاب هر نسخه، حتماً هشدارهای امنیتی مربوط به آن را بخوانید.
منابع: یادداشتهای انتشار نسخههای v0.30.0 و v0.31.0 و v0.32.0؛ هشدارهای امنیتی گیتهاب برای vllm-project/vllm (از 2026-09-21 تا 2026-10-21)؛ مستندات vLLM در نسخهی v0.31.0 (مسیرهای docs/design/torch_compile.md و docs/serving/online_serving/openai_compatible_server.md)؛ کدهای منبع vLLM در نسخهی v0.31.0 (مسیر vllm/benchmarks/startup.py)؛ فایل لاگ capture/gpu/out-gb10/server-load-vllm.log.