بخش 3.7 · تنظیم متناسب با ترافیک شما

سرو چندین مدل فاین‌تیون‌شده با multi-LoRA

Serve many fine-tunes with multi-LoRA

فهرست مطالب
  1. راه‌اندازی سرور با فعال‌سازی LoRA
  2. تعیین اندازه‌ی سه محدودیت اصلی
  3. بارگذاری تطبیق‌دهنده‌ها هنگام اجرای سرور
  4. تأثیر LoRA بر بخش‌های دیگر

یک مدل پایه می‌تواند چندین تطبیق‌دهنده (Adapter) از نوع LoRA را سرو کند؛ تعداد و رتبه‌ی (Rank) این تطبیق‌دهنده‌ها هزینه‌ی پردازشی را مشخص می‌کند.

شاید چندین نسخه‌ی فاین‌تیون‌شده از یک مدل پایه داشته باشید. پس از مطالعه‌ی این بخش، می‌توانید تطبیق‌دهنده‌های LoRA را به‌ازای هر درخواست و فقط از روی یک مدل پایه‌ی واحد سرو کنید.

راه‌اندازی سرور با فعال‌سازی LoRA

تطبیق‌دهنده‌ی LoRA مجموعه‌ی کوچکی از وزن‌های اضافی است که روی مدل پایه قرار می‌گیرد. سرور فقط یک نسخه از مدل پایه را نگه می‌دارد و تطبیق‌دهنده‌ای را که در هر درخواست مشخص شده، روی آن اعمال می‌کند. درخواست‌هایی که تطبیق‌دهنده‌های متفاوتی می‌خواهند حتی می‌توانند در یک دسته (Batch) مشترک پردازش شوند.

vllm serve Qwen/Qwen3-8B \
  --enable-lora \
  --lora-modules support=/adapters/support legal=/adapters/legal \
  --max-loras 4 --max-lora-rank 64

هر مسیر، پوشه‌ای با قالب PEFT است؛ قالبی خروجی که اغلب کتابخانه‌های آموزش مدل ایجاد می‌کنند. این پوشه شامل فایل adapter_config.json و وزن‌های موجود در adapter_model.safetensors است. vLLM فایل‌های adapter_model.bin را هم می‌خواند. این مسیر می‌تواند نام یک مخزن (Repository) در Hugging Face نیز باشد.

هر درخواست، تطبیق‌دهنده‌ی مدنظرش را با ذکر نام آن در فیلد model انتخاب می‌کند:

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"model": "support", "messages": [{"role": "user", "content": "Reset my password"}]}'

مسیر /v1/models هم مدل پایه و هم تک‌تک تطبیق‌دهنده‌ها را فهرست می‌کند.

ما این ساختار را در تاریخ 2026-10-23 روی GPU دومِ اشتراکی از نود L4 خود آزمایش کردیم. در این تست از Qwen/Qwen3-0.6B و دو تطبیق‌دهنده‌ی عمومی با رتبه‌های 8 و 64 استفاده کردیم. مسیر /v1/models مدل پایه، support و legal را فهرست کرد و درخواست چت به هر کدام از این تطبیق‌دهنده‌ها هم پاسخ HTTP 200 داد.

تعیین اندازه‌ی سه محدودیت اصلی

فلگ مقدار پیش‌فرض محدوده‌ای که کنترل می‌کند
--max-loras 1 تطبیق‌دهنده‌هایی که می‌توانند هم‌زمان در یک دسته روی GPU اجرا شوند
--max-lora-rank 16 بزرگ‌ترین رتبه‌ی تطبیق‌دهنده‌ای که سرور می‌پذیرد
--max-cpu-loras تعیین‌نشده تطبیق‌دهنده‌های نگه‌داری‌شده در حافظه‌ی CPU، آماده برای بارگذاری

مقدار پیش‌فرضِ یک تطبیق‌دهنده برای هر دسته، برای سروری با چندین تطبیق‌دهنده کم است؛ درخواست‌های مربوط به تطبیق‌دهنده‌ی دوم باید منتظر بمانند تا دسته‌ی تطبیق‌دهنده‌ی اول تمام شود. مقدار --max-loras را تا تعداد تطبیق‌دهنده‌هایی بالا ببرید که هم‌زمان درگیر پردازش هستند.

مقدار --max-lora-rank را دقیقاً برابر با بزرگ‌ترین رتبه‌ی تطبیق‌دهنده‌های خود بگذارید، نه بالاتر. مستندات vLLM توصیه می‌کند از انتخاب مقادیر پیش‌فرض بزرگ مثل 256 بپرهیزید، زیرا سرور حافظه را بر اساس بزرگ‌ترین رتبه رزرو می‌کند.

بارگذاری تطبیق‌دهنده‌ها هنگام اجرای سرور

برای افزودن تطبیق‌دهنده بدون راه‌اندازی مجدد سرور، آن را با متغیر VLLM_ALLOW_RUNTIME_LORA_UPDATING=True اجرا کنید. سپس نام و مسیر را با درخواست POST به /v1/load_lora_adapter بفرستید و برای حذف آن نیز به /v1/unload_lora_adapter درخواست ارسال کنید. این قابلیت را تنها زمانی فعال کنید که به تمام ارسال‌کنندگان درخواست اعتماد دارید، زیرا این اندپوینت فایل‌ها را از مسیری بارگذاری می‌کند که خود کاربر مشخص کرده است.

تأثیر LoRA بر بخش‌های دیگر

  • کش پیشوند (Prefix cache): تطبیق‌دهنده بخشی از کلید هر بلوک است؛ دو تطبیق‌دهنده هرگز بلوک‌های کش‌شده را به اشتراک نمی‌گذارند، حتی اگر پرامپت (Prompt) کاملاً یکسانی داشته باشند.
  • گراف‌های CUDA: فریم‌ورک vLLM برای دسته‌های شامل تطبیق‌دهنده، گراف‌های مجزایی ضبط می‌کند. تعداد بیشتر تطبیق‌دهنده‌ها و تنوع اندازه‌ی گراف‌ها، زمان بالا آمدن اولیه و مصرف حافظه را افزایش می‌دهد.
  • نام‌ها: از نسخه‌ی 0.31 به بعد، نام تطبیق‌دهنده نمی‌تواند با نام یکی از مدل‌های سروشده یکسان باشد.

روی سخت‌افزار ما ارزیابی نشده است. ما هزینه‌ی ناشی از تعداد تطبیق‌دهنده‌ها یا رتبه‌ی آن‌ها را روی L4 یا GB10 اندازه نگرفته‌ایم.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (فایل‌های vllm/config/lora.py، vllm/lora/lora_model.py، vllm/lora/peft_helper.py، vllm/lora/utils.py و vllm/v1/core/kv_cache_utils.py)، مستندات vLLM در نسخه‌ی v0.31.0 (فایل docs/features/lora.md)، یادداشت‌های انتشار نسخه‌ی v0.31.0 و capture/gpu/out-l4/livecheck-2026-10-23.txt.

ترجمه‌ی فارسی Serve many fine-tunes with multi-LoRA از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما