در این صفحه نسخههای دقیق vLLM، PyTorch، CUDA و ایمیجهای استفادهشده در تستهای ما آمده است.
پیش از مقایسهی اعداد، از این صفحه استفاده کنید تا پیکربندی محیط شما با سیستم ما همخوانی داشته باشد.
vLLM
| مورد |
مقدار |
| انتشار (Release) |
0.31.0 |
| commit تگ |
db9527a46873454610df6dbedf79a36d6bf1a7f6، بهتاریخ 2026-10-02 |
| انتشار در GitHub |
منتشرشده در 2026-10-05 |
| نسخهی PyTorch موردنیاز ویل (wheel) مربوط به CUDA |
2.13.0 |
| نسخهی CUDA در ایمیج پیشفرض |
13.0 |
| نسخهی Python در ایمیج پیشفرض |
3.12 |
سیستمها
| مورد |
NVIDIA L4 |
DGX Spark |
| پردازندهی گرافیکی (GPU) |
NVIDIA L4 با قابلیت محاسباتی (Compute Capability) معادل 8.9 |
NVIDIA GB10 با قابلیت محاسباتی (Compute Capability) معادل 12.1 |
| حافظه |
24 GB GDDR6، مقدار 22.1 GiB در دسترس |
حافظهی یکپارچهی LPDDR5x ارائهشده با ظرفیت 128 GB، مقدار 121.69 GiB در دسترس برای GPU |
| معماری CPU |
x86_64 |
aarch64 |
| درایور |
615.71.09 |
580.159.03 |
| نحوهی اجرای vLLM |
ویل pip در یک محیط مجازی |
ایمیج vllm/vllm-openai:v0.31.0 |
| بکاند اتنشن |
FlashAttention 2، بر اساس قاعدهی انتخاب خودکار برای این GPU |
FlashAttention 2، ثبتشده در لاگ راهاندازی با عنوان FLASH_ATTN |
مدلها
| مدل |
سیستم |
کاربرد |
Qwen/Qwen3-8B |
L4 |
تمام اجراهای L4 بهجز اجرای وزنهای FP8 |
Qwen/Qwen3-8B-FP8 |
L4 |
اجرای وزنهای FP8 |
Tengyunw/qwen3_8b_eagle3 |
L4 |
پیشنویس (Draft) مربوط به EAGLE3 |
Qwen/Qwen3-30B-A3B-Instruct-2507 |
DGX Spark |
تمام اجراهای GB10 |
موتور مقایسه و کلاینت
| مورد |
مقدار |
| SGLang |
نسخهی 0.5.22، برای اجراهای رودررو |
| کلاینت بنچمارک |
ماژول sglang.benchmark.serving از SGLang 0.5.22، بههمراه --backend vllm برای اجراهای vLLM |
| نسخهی PyTorch محیط کلاینت |
2.14.1 با CUDA 13.0 |
منابع: سورسکد vLLM در نسخهی v0.31.0 (فایلهای requirements/cuda.txt و docker/Dockerfile)، فهرست انتشارهای گیتهاب vllm-project/vllm (دریافتشده در 2026-10-21)، فایلهای capture/gpu/summary/l4.json و gb10.json (محیط اجرا)، لاگ capture/gpu/out-gb10/server-load-vllm.log.