فریمورک vLLM از شتابدهندههای دیگر از طریق پلاگینها پشتیبانی میکند و هر پلاگین چرخهی انتشار مستقل خود را دارد.
شاید سختافزار شما پردازندهی گرافیکی NVIDIA نباشد. در پایان این بخش، میتوانید پلاگین مناسب سختافزارتان و نسخهی سازگار با آن را پیدا کنید.
تفاوت پشتیبانی داخلی و پلاگینها
نسخهی 0.31.0 فریمورک vLLM بهطور توکار (Built-in) از GPUهای NVIDIA، پردازندههای گرافیکی AMD از طریق ROCm، پردازندههای گرافیکی Intel و CPUها پشتیبانی میکند. سایر سختافزارها از طریق پلاگین اجرا میشوند. پلاگین یک پکیج پایتون مجزا است که پس از نصب، پلتفرم مربوط را در vLLM ثبت میکند. کافی است آن را در کنار vLLM نصب کنید تا vLLM خودکار پیدایش کند.
معماری پلاگین از یک سند RFC در دسامبر 2024 شکل گرفت. از آن زمان، چندین بکاند که درون خودِ vLLM قرار داشتند به پلاگینهای مستقل تبدیل شدند.
پلاگین سختافزار خود را پیدا کنید
| سختافزار | پلاگین | شیوهی همگامسازی با vLLM |
|---|---|---|
| پردازندهی Google TPU | tpu-inference (در حال تغییر نام به vllm-jax) |
به ازای هر نسخهی vLLM یک انتشار اختصاصی، با ایمیج مجزا دارد |
| پردازندهی Huawei Ascend NPU | vllm-ascend |
نسخههای پیشانتشار (Release candidates) برای نگارشهای اخیر vLLM، و نسخههای نهایی تقریباً هر سه ماه یکبار |
| پردازندهی Intel Gaudi | vllm-gaudi |
نسخههای منتشرشده بر پایهی یک نسخهی مشخص از vLLM |
| پردازندههای AWS Trainium و Inferentia | vllm-neuron |
انتشار نسخهها همراه با ذکر دقیق نسخهای از vLLM که بر پایهی آن ساخته شدهاند |
| پردازندهی IBM Spyre | sendnn-inference |
شمارهگذاری نسخهی اختصاصی خود |
| پردازندههای گرافیکی Apple silicon | vllm-metal (یک پلاگین جامعهمحور مبتنی بر MLX) |
چرخهی انتشار اختصاصی خود |
بررسی نسخهها پیش از برنامهریزی
پلاگینها معمولاً در مقایسه با جدیدترین نسخهی vLLM، از نسخههای قدیمیتر آن پشتیبانی میکنند. برای مثال، در اکتبر 2026 جدیدترین نسخهی نهایی vllm-ascend با vLLM 0.23.0 سازگار بود؛ در حالی که خود vLLM به نسخهی 0.32.0 رسیده بود. در مقابل، پلاگین TPU ظرف چند روز پس از انتشار vLLM 0.31.0 نسخهی سازگار با آن را عرضه کرد.
پیش از برنامهریزی برای پیادهسازی یک قابلیت روی سختافزارتان:
- جدیدترین نسخهی پلاگین را بیابید و ببینید کدام نسخهی vLLM را هدف گرفته است.
- مستندات همان نسخهی مشخص vLLM را مطالعه کنید، نه لزوماً جدیدترین نسخه را.
- جدول قابلیتهای پلاگین را بررسی کنید. برخی قابلیتهای مسیر اجرایی CUDA، مانند بعضی فرمتهای کوانتیزهسازی (Quantization) و بکاندهای اتنشن (Attention)، روی سایر سختافزارها ارائه نشدهاند.
این بخش روی سختافزار ما آزمایش نشده است؛ ما فقط GPUهای NVIDIA را اجرا کردیم.
منابع: سورسکد vLLM در نگارش v0.31.0 (مسیرهای vllm/platforms/ و vllm/plugins/)، مستندات vLLM در نگارش v0.31.0 (مسیرهای docs/design/plugin_system.md و docs/getting_started/installation/)، شیوهنامهی RFC 11162 در vLLM (سختافزار ماژولار، دسامبر 2024)، و صفحات انتشار نسخههای tpu-inference، vllm-ascend، vllm-gaudi، vllm-neuron، sendnn-inference و vllm-metal (بررسیشده در 2026-10-21).