این صفحه فلگهای استفادهشده در این راهنما را بر اساس وظیفهی کاربر دستهبندی کرده و مقادیر پیشفرض آنها را در نسخهی 0.31.0 آورده است.
از این صفحه برای پیدا کردن فلگهایی که در بخشهای مختلف نام برده شدهاند استفاده کنید.
مقادیر پیشفرض مربوط به دستور vllm serve در نسخهی 0.31.0 روی پردازندهی گرافیکی CUDA هستند و از کلاسهای پیکربندی در سورسکد استخراج شدهاند.
سرور
| فلگ |
پیشفرض |
عملکرد |
صفحه |
--host |
تنظیم نشده، بنابراین تمام اینترفیسهای شبکه |
آدرسی که سرور روی آن به درخواستها گوش میدهد |
گزینههای سرور |
--port |
8000 |
پورت HTTP |
گزینههای سرور |
--served-model-name |
نام مدل |
نامی که کلاینتها در فیلد model ارسال میکنند |
گزینههای سرور |
--api-key |
تنظیم نشده |
کلیدی که مسیرهای /v1 به آن نیاز دارند |
گزینههای سرور |
--chat-template |
الگوی خود مدل |
الگوی چت (chat template)، بهصورت فایل یا متن |
گزینههای سرور |
--default-chat-template-kwargs |
تنظیم نشده |
مقادیر پیشفرض الگو برای تمام درخواستها |
مدلهای استدلالگر |
--reasoning-parser |
تنظیم نشده |
پارسِری که بخش تفکر را از پاسخ نهایی جدا میکند |
مدلهای استدلالگر |
--enable-log-requests |
غیرفعال |
ثبت یک خط لاگ به ازای هر درخواست |
گزینههای سرور |
حافظه و طول متن
| فلگ |
پیشفرض |
عملکرد |
صفحه |
--gpu-memory-utilization |
0.92 |
سهم هر نمونه از کل حافظهی GPU |
راهاندازی |
--kv-cache-memory-bytes |
تنظیم نشده |
اندازهی کش کلید-مقدار (KV cache) به بایت، که اولویت بالاتری نسبت به سهم حافظه دارد |
راهاندازی |
--max-model-len |
تنظیمات مدل |
حداکثر طول مجاز پرامپت (Prompt) بهعلاوهی پاسخ برای یک درخواست |
کانتکستهای طولانی |
--block-size |
16 |
تعداد توکنها در یک بلوک KV، یا مقدار ترجیحی بکاند اتنشن (Attention) |
استخر بلوک |
--kv-cache-dtype |
auto |
نوع دادهی کش کلید-مقدار، مانند fp8 |
بکاند اتنشن |
--num-gpu-blocks-override |
تنظیم نشده |
تعداد مشخص و ثابتی از بلوکهای KV، مخصوص تستها |
راهاندازی |
زمانبندی
| فلگ |
پیشفرض |
عملکرد |
صفحه |
--max-num-batched-tokens |
2048 برای vllm serve روی GPU کمتر از 70 GiB یا A100، مقدار 8192 از 70 GiB به بالا، 16384 از 160 GiB به بالا |
سهمیهی توکن (Token Budget) برای هر گام |
سهمیهی توکن |
--max-num-seqs |
256 روی GPU کمتر از 70 GiB یا A100، مقدار 1024 از 70 GiB به بالا |
بیشترین تعداد درخواستهای همزمان در حال اجرا |
سهمیهی توکن |
--enable-chunked-prefill |
فعال |
تقسیم یک پرامپت طولانی بین چند گام |
سهمیهی توکن |
--async-scheduling |
فعال برای بیشتر مدلهای تولید متن |
برنامهریزی گام بعدی همزمان با اجرای GPU |
مدل رانر نسخهی 2 |
--scheduling-policy |
fcfs |
تقدم ورود (FCFS) یا بر اساس اولویت (priority) |
سهمیهی توکن |
--long-prefill-token-threshold |
تنظیم نشده |
سقف توکنهای یک پیشپرکنی (prefill) در هر گام |
سهمیهی توکن |
کش
| فلگ |
پیشفرض |
عملکرد |
صفحه |
--enable-prefix-caching |
فعال |
استفادهی مجدد از بلوکهای پیشوند کششده |
استخر بلوک |
--prefix-caching-hash-algo |
sha256 |
هش هر بلوک |
استخر بلوک |
--disable-hybrid-kv-cache-manager |
غیرفعال |
یک گروه به ازای هر نوع لایه |
کانتکستهای طولانی |
--kv-transfer-config |
تنظیم نشده |
اتصالدهندهی KV (KV Connector) و نقش آن |
اتصالدهندههای KV |
اجرا
| فلگ |
پیشفرض |
عملکرد |
صفحه |
-O0 تا -O3 |
-O2 |
سطح کامپایل و گراف CUDA |
کامپایل و گرافها |
--enforce-eager |
غیرفعال |
بدون کامپایل، بدون گرافهای CUDA و بدون گرمکردن (Warmup) کرنل |
کامپایل و گرافها |
--max-cudagraph-capture-size |
وابسته به سطح بهینهسازی |
بزرگترین دستهای (batch) که گراف آن ضبط میشود |
کامپایل و گرافها |
--attention-backend |
انتخاب از یک فهرست |
کرنل (Kernel) اتنشن، بر اساس نام enum |
بکاند اتنشن |
--speculative-config |
تنظیم نشده |
روش دیکودینگ حدسی (Speculative Decoding) و گزینههای آن بهصورت JSON |
دیکودینگ حدسی |
موازیسازی
| فلگ |
پیشفرض |
عملکرد |
--tensor-parallel-size, -tp |
1 |
تعداد GPUهایی که هر لایه بین آنها تقسیم میشود |
--pipeline-parallel-size, -pp |
1 |
تعداد GPUهایی که لایهها را به مراحل مجزا تقسیم میکنند |
--data-parallel-size, -dp |
1 |
نسخههای کامل از مدل |
--enable-expert-parallel |
غیرفعال |
توزیع کارشناسها بین GPUها در مدلهای ترکیبی از کارشناسان (MoE) |
متغیرهای محیطی
| متغیر |
پیشفرض |
عملکرد |
VLLM_ENABLE_V1_MULTIPROCESSING |
1 |
اجرای هستهی موتور در فرایند (Process) مستقل خودش |
VLLM_USE_V2_MODEL_RUNNER |
تنظیم نشده |
انتخاب و تثبیت اجراکننده (Runner) مدل |
VLLM_BATCH_INVARIANT |
0 |
فعالسازی حالت پایا در برابر دسته (batch-invariant) در صورت تنظیم روی 1 |
VLLM_API_KEY |
تنظیم نشده |
کلید API، معادل همان مقداری که --api-key تعیین میکند |
VLLM_LOGGING_LEVEL |
INFO |
سطح لاگگیری vLLM |
VLLM_NO_USAGE_STATS |
0 |
غیرفعال کردن ارسال آمار مصرف در صورت تنظیم روی 1 |
منابع: سورسکد vLLM در نسخهی v0.31.0 (مسیرهای vllm/config/cache.py، vllm/config/scheduler.py، vllm/config/compilation.py، vllm/config/model.py، vllm/config/parallel.py، vllm/engine/arg_utils.py، vllm/envs.py، vllm/entrypoints/launchers/cli_args.py و vllm/config/structured_outputs.py).