مرجع R.1

فلگ‌ها و مقادیر پیش‌فرض

Flags and defaults

فهرست مطالب
  1. سرور
  2. حافظه و طول متن
  3. زمان‌بندی
  4. کش
  5. اجرا
  6. موازی‌سازی
  7. متغیرهای محیطی

این صفحه فلگ‌های استفاده‌شده در این راهنما را بر اساس وظیفه‌ی کاربر دسته‌بندی کرده و مقادیر پیش‌فرض آن‌ها را در نسخه‌ی 0.31.0 آورده است.

از این صفحه برای پیدا کردن فلگ‌هایی که در بخش‌های مختلف نام برده شده‌اند استفاده کنید.

مقادیر پیش‌فرض مربوط به دستور vllm serve در نسخه‌ی 0.31.0 روی پردازنده‌ی گرافیکی CUDA هستند و از کلاس‌های پیکربندی در سورس‌کد استخراج شده‌اند.

سرور

فلگ پیش‌فرض عملکرد صفحه
--host تنظیم نشده، بنابراین تمام اینترفیس‌های شبکه آدرسی که سرور روی آن به درخواست‌ها گوش می‌دهد گزینه‌های سرور
--port 8000 پورت HTTP گزینه‌های سرور
--served-model-name نام مدل نامی که کلاینت‌ها در فیلد model ارسال می‌کنند گزینه‌های سرور
--api-key تنظیم نشده کلیدی که مسیرهای /v1 به آن نیاز دارند گزینه‌های سرور
--chat-template الگوی خود مدل الگوی چت (chat template)، به‌صورت فایل یا متن گزینه‌های سرور
--default-chat-template-kwargs تنظیم نشده مقادیر پیش‌فرض الگو برای تمام درخواست‌ها مدل‌های استدلال‌گر
--reasoning-parser تنظیم نشده پارسِری که بخش تفکر را از پاسخ نهایی جدا می‌کند مدل‌های استدلال‌گر
--enable-log-requests غیرفعال ثبت یک خط لاگ به ازای هر درخواست گزینه‌های سرور

حافظه و طول متن

فلگ پیش‌فرض عملکرد صفحه
--gpu-memory-utilization 0.92 سهم هر نمونه از کل حافظه‌ی GPU راه‌اندازی
--kv-cache-memory-bytes تنظیم نشده اندازه‌ی کش کلید-مقدار (KV cache) به بایت، که اولویت بالاتری نسبت به سهم حافظه دارد راه‌اندازی
--max-model-len تنظیمات مدل حداکثر طول مجاز پرامپت (Prompt) به‌علاوه‌ی پاسخ برای یک درخواست کانتکست‌های طولانی
--block-size 16 تعداد توکن‌ها در یک بلوک KV، یا مقدار ترجیحی بک‌اند اتنشن (Attention) استخر بلوک
--kv-cache-dtype auto نوع داده‌ی کش کلید-مقدار، مانند fp8 بک‌اند اتنشن
--num-gpu-blocks-override تنظیم نشده تعداد مشخص و ثابتی از بلوک‌های KV، مخصوص تست‌ها راه‌اندازی

زمان‌بندی

فلگ پیش‌فرض عملکرد صفحه
--max-num-batched-tokens 2048 برای vllm serve روی GPU کمتر از 70 GiB یا A100، مقدار 8192 از 70 GiB به بالا، 16384 از 160 GiB به بالا سهمیه‌ی توکن (Token Budget) برای هر گام سهمیه‌ی توکن
--max-num-seqs 256 روی GPU کمتر از 70 GiB یا A100، مقدار 1024 از 70 GiB به بالا بیشترین تعداد درخواست‌های هم‌زمان در حال اجرا سهمیه‌ی توکن
--enable-chunked-prefill فعال تقسیم یک پرامپت طولانی بین چند گام سهمیه‌ی توکن
--async-scheduling فعال برای بیشتر مدل‌های تولید متن برنامه‌ریزی گام بعدی هم‌زمان با اجرای GPU مدل رانر نسخه‌ی 2
--scheduling-policy fcfs تقدم ورود (FCFS) یا بر اساس اولویت (priority) سهمیه‌ی توکن
--long-prefill-token-threshold تنظیم نشده سقف توکن‌های یک پیش‌پرکنی (prefill) در هر گام سهمیه‌ی توکن

کش

فلگ پیش‌فرض عملکرد صفحه
--enable-prefix-caching فعال استفاده‌ی مجدد از بلوک‌های پیشوند کش‌شده استخر بلوک
--prefix-caching-hash-algo sha256 هش هر بلوک استخر بلوک
--disable-hybrid-kv-cache-manager غیرفعال یک گروه به ازای هر نوع لایه کانتکست‌های طولانی
--kv-transfer-config تنظیم نشده اتصال‌دهنده‌ی KV (KV Connector) و نقش آن اتصال‌دهنده‌های KV

اجرا

فلگ پیش‌فرض عملکرد صفحه
-O0 تا -O3 -O2 سطح کامپایل و گراف CUDA کامپایل و گراف‌ها
--enforce-eager غیرفعال بدون کامپایل، بدون گراف‌های CUDA و بدون گرم‌کردن (Warmup) کرنل کامپایل و گراف‌ها
--max-cudagraph-capture-size وابسته به سطح بهینه‌سازی بزرگ‌ترین دسته‌ای (batch) که گراف آن ضبط می‌شود کامپایل و گراف‌ها
--attention-backend انتخاب از یک فهرست کرنل (Kernel) اتنشن، بر اساس نام enum بک‌اند اتنشن
--speculative-config تنظیم نشده روش دیکودینگ حدسی (Speculative Decoding) و گزینه‌های آن به‌صورت JSON دیکودینگ حدسی

موازی‌سازی

فلگ پیش‌فرض عملکرد
--tensor-parallel-size, -tp 1 تعداد GPUهایی که هر لایه بین آن‌ها تقسیم می‌شود
--pipeline-parallel-size, -pp 1 تعداد GPUهایی که لایه‌ها را به مراحل مجزا تقسیم می‌کنند
--data-parallel-size, -dp 1 نسخه‌های کامل از مدل
--enable-expert-parallel غیرفعال توزیع کارشناس‌ها بین GPUها در مدل‌های ترکیبی از کارشناسان (MoE)

متغیرهای محیطی

متغیر پیش‌فرض عملکرد
VLLM_ENABLE_V1_MULTIPROCESSING 1 اجرای هسته‌ی موتور در فرایند (Process) مستقل خودش
VLLM_USE_V2_MODEL_RUNNER تنظیم نشده انتخاب و تثبیت اجراکننده (Runner) مدل
VLLM_BATCH_INVARIANT 0 فعال‌سازی حالت پایا در برابر دسته (batch-invariant) در صورت تنظیم روی 1
VLLM_API_KEY تنظیم نشده کلید API، معادل همان مقداری که --api-key تعیین می‌کند
VLLM_LOGGING_LEVEL INFO سطح لاگ‌گیری vLLM
VLLM_NO_USAGE_STATS 0 غیرفعال کردن ارسال آمار مصرف در صورت تنظیم روی 1

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/config/cache.py، vllm/config/scheduler.py، vllm/config/compilation.py، vllm/config/model.py، vllm/config/parallel.py، vllm/engine/arg_utils.py، vllm/envs.py، vllm/entrypoints/launchers/cli_args.py و vllm/config/structured_outputs.py).

ترجمه‌ی فارسی Flags and defaults از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما