بخش 6.5 · مقیاس‌پذیری افقی

اجرای vLLM روی سایر شتاب‌دهنده‌ها

Run vLLM on other accelerators

فهرست مطالب
  1. تفاوت پشتیبانی داخلی و پلاگین‌ها
  2. پلاگین سخت‌افزار خود را پیدا کنید
  3. بررسی نسخه‌ها پیش از برنامه‌ریزی

فریم‌ورک vLLM از شتاب‌دهنده‌های دیگر از طریق پلاگین‌ها پشتیبانی می‌کند و هر پلاگین چرخه‌ی انتشار مستقل خود را دارد.

شاید سخت‌افزار شما پردازنده‌ی گرافیکی NVIDIA نباشد. در پایان این بخش، می‌توانید پلاگین مناسب سخت‌افزارتان و نسخه‌ی سازگار با آن را پیدا کنید.

تفاوت پشتیبانی داخلی و پلاگین‌ها

نسخه‌ی 0.31.0 فریم‌ورک vLLM به‌طور توکار (Built-in) از GPUهای NVIDIA، پردازنده‌های گرافیکی AMD از طریق ROCm، پردازنده‌های گرافیکی Intel و CPUها پشتیبانی می‌کند. سایر سخت‌افزارها از طریق پلاگین اجرا می‌شوند. پلاگین یک پکیج پایتون مجزا است که پس از نصب، پلتفرم مربوط را در vLLM ثبت می‌کند. کافی است آن را در کنار vLLM نصب کنید تا vLLM خودکار پیدایش کند.

معماری پلاگین از یک سند RFC در دسامبر 2024 شکل گرفت. از آن زمان، چندین بک‌اند که درون خودِ vLLM قرار داشتند به پلاگین‌های مستقل تبدیل شدند.

پلاگین سخت‌افزار خود را پیدا کنید

سخت‌افزار پلاگین شیوه‌ی همگام‌سازی با vLLM
پردازنده‌ی Google TPU tpu-inference (در حال تغییر نام به vllm-jax) به ازای هر نسخه‌ی vLLM یک انتشار اختصاصی، با ایمیج مجزا دارد
پردازنده‌ی Huawei Ascend NPU vllm-ascend نسخه‌های پیش‌انتشار (Release candidates) برای نگارش‌های اخیر vLLM، و نسخه‌های نهایی تقریباً هر سه ماه یک‌بار
پردازنده‌ی Intel Gaudi vllm-gaudi نسخه‌های منتشرشده بر پایه‌ی یک نسخه‌ی مشخص از vLLM
پردازنده‌های AWS Trainium و Inferentia vllm-neuron انتشار نسخه‌ها همراه با ذکر دقیق نسخه‌ای از vLLM که بر پایه‌ی آن ساخته شده‌اند
پردازنده‌ی IBM Spyre sendnn-inference شماره‌گذاری نسخه‌ی اختصاصی خود
پردازنده‌های گرافیکی Apple silicon vllm-metal (یک پلاگین جامعه‌محور مبتنی بر MLX) چرخه‌ی انتشار اختصاصی خود

بررسی نسخه‌ها پیش از برنامه‌ریزی

پلاگین‌ها معمولاً در مقایسه با جدیدترین نسخه‌ی vLLM، از نسخه‌های قدیمی‌تر آن پشتیبانی می‌کنند. برای مثال، در اکتبر 2026 جدیدترین نسخه‌ی نهایی vllm-ascend با vLLM 0.23.0 سازگار بود؛ در حالی که خود vLLM به نسخه‌ی 0.32.0 رسیده بود. در مقابل، پلاگین TPU ظرف چند روز پس از انتشار vLLM 0.31.0 نسخه‌ی سازگار با آن را عرضه کرد.

پیش از برنامه‌ریزی برای پیاده‌سازی یک قابلیت روی سخت‌افزارتان:

  1. جدیدترین نسخه‌ی پلاگین را بیابید و ببینید کدام نسخه‌ی vLLM را هدف گرفته است.
  2. مستندات همان نسخه‌ی مشخص vLLM را مطالعه کنید، نه لزوماً جدیدترین نسخه را.
  3. جدول قابلیت‌های پلاگین را بررسی کنید. برخی قابلیت‌های مسیر اجرایی CUDA، مانند بعضی فرمت‌های کوانتیزه‌سازی (Quantization) و بک‌اندهای اتنشن (Attention)، روی سایر سخت‌افزارها ارائه نشده‌اند.

این بخش روی سخت‌افزار ما آزمایش نشده است؛ ما فقط GPUهای NVIDIA را اجرا کردیم.

منابع: سورس‌کد vLLM در نگارش v0.31.0 (مسیرهای vllm/platforms/ و vllm/plugins/)، مستندات vLLM در نگارش v0.31.0 (مسیرهای docs/design/plugin_system.md و docs/getting_started/installation/)، شیوه‌نامه‌ی RFC 11162 در vLLM (سخت‌افزار ماژولار، دسامبر 2024)، و صفحات انتشار نسخه‌های tpu-inference، vllm-ascend، vllm-gaudi، vllm-neuron، sendnn-inference و vllm-metal (بررسی‌شده در 2026-10-21).

ترجمه‌ی فارسی Run vLLM on other accelerators از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما