سؤال مصاحبه

هزینه‌ی میزبانی چندین تطبیق‌دهنده‌ی LoRA روی یک سرور

What many LoRA adapters cost one server

  • سطح ۲: میانی
  • طراحی
  • ۸ دقیقه

فرض کنید 20 نسخه‌ی فاین‌تیون‌شده از یک مدل پایه دارید که هرکدام یک تطبیق‌دهنده (Adapter) بر پایه‌ی LoRA هستند، و می‌خواهید همه‌ی آن‌ها را روی یک سرور vLLM مستقر کنید. چه پارامترهایی را باید تنظیم کنید، چه عواملی هزینه را تعیین می‌کنند، و با فعال شدن LoRA چه بخش‌های دیگری از سرور تغییر می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هنگام راه‌اندازی، LoRA را با فلگ --enable-lora فعال کنید، تطبیق‌دهنده‌ها را با --lora-modules نام‌گذاری کنید و اجازه دهید هر درخواست در فیلد model خود یکی از آن‌ها را مشخص کند. سه محدودیت اصلی هزینه را تعیین می‌کنند: --max-loras که مقدار پیش‌فرض آن 1 است و سقف تعداد تطبیق‌دهنده‌های فعال در یک دسته (Batch) را مشخص می‌کند؛ --max-lora-rank که مقدار پیش‌فرض آن 16 است و حافظه را متناسب با بزرگ‌ترین رتبه (Rank) رزرو می‌کند؛ و --max-cpu-loras برای تطبیق‌دهنده‌هایی که در حافظه‌ی CPU آماده‌ی بارگذاری سریع نگه‌داری می‌شوند. استفاده از LoRA کش پیشوند (Prefix cache) را نیز تغییر می‌دهد؛ زیرا شناسه‌ی تطبیق‌دهنده بخشی از کلید هر بلوک است، بنابراین دو تطبیق‌دهنده هرگز بلوک‌های کش‌شده را به اشتراک نمی‌گذارند. همچنین گراف‌های CUDA جداگانه‌ای به ازای هر تطبیق‌دهنده ساخته می‌شود که زمان راه‌اندازی اولیه و مصرف حافظه را افزایش می‌دهد.

پاسخ کامل

راه‌اندازی سرور

vllm serve Qwen/Qwen3-8B \
  --enable-lora \
  --lora-modules support=/adapters/support legal=/adapters/legal \
  --max-loras 4 --max-lora-rank 64

هر مسیر به پوشه‌ای با فرمت PEFT اشاره دارد؛ همان ساختاری که بیشتر کتابخانه‌های آموزشی می‌سازند: فایل adapter_config.json به‌همراه وزن‌ها در قالب adapter_model.safetensors یا adapter_model.bin. هر درخواست با مشخص کردن نام تطبیق‌دهنده در فیلد model آن را برمی‌گزیند، و اندپوینت /v1/models مدل پایه و تمام تطبیق‌دهنده‌ها را فهرست می‌کند. درخواست‌های مربوط به تطبیق‌دهنده‌های مختلف می‌توانند هم‌زمان در یک دسته پردازش شوند. راهنمای عملی این سازوکار را با مدل Qwen3-0.6B و دو تطبیق‌دهنده‌ی عمومی با رتبه‌های 8 و 64 اجرا کرده و درخواست‌های چت به هر دو تطبیق‌دهنده با موفقیت کد وضعیت HTTP 200 برگردانده‌اند.

تنظیم سه محدودیت اصلی

فلگ مقدار پیش‌فرض محدودیت اعمال‌شده
--max-loras 1 تعداد تطبیق‌دهنده‌هایی که می‌توانند هم‌زمان در یک دسته روی GPU اجرا شوند
--max-lora-rank 16 بزرگ‌ترین رتبه‌ی مجاز تطبیق‌دهنده در سرور
--max-cpu-loras تنظیم‌نشده تعداد تطبیق‌دهنده‌های آماده‌به‌کار نگه‌داری‌شده در حافظه‌ی CPU

مقدار پیش‌فرض یک تطبیق‌دهنده در هر دسته، برای سروری با چندین تطبیق‌دهنده بسیار کم است. در این حالت، درخواست‌های مربوط به تطبیق‌دهنده‌ی دوم باید تا پایان پردازش دسته‌ی تطبیق‌دهنده‌ی اول منتظر بمانند. مقدار --max-loras را متناسب با تعداد تطبیق‌دهنده‌هایی که هم‌زمان مشغول به کارند بالا ببرید. مقدار --max-lora-rank را دقیقاً برابر با بزرگ‌ترین رتبه‌ی تطبیق‌دهنده‌هایتان قرار دهید و نه بیشتر: سرور حافظه را بر اساس بزرگ‌ترین رتبه‌ای که می‌پذیرد رزرو می‌کند و مستندات رسمی استفاده از مقادیر پیش‌فرض بزرگی مانند 256 را منع کرده است. تطبیق‌دهنده‌های موجود در حافظه‌ی CPU به‌محض فراخوانی در یک درخواست، سریع بارگذاری می‌شوند؛ بنابراین مقدار --max-cpu-loras را متناسب با تطبیق‌دهنده‌های گرم تنظیم کنید.

بارگذاری تطبیق‌دهنده‌ها حین اجرای سرور

با مقداردهی VLLM_ALLOW_RUNTIME_LORA_UPDATING=True می‌توانید با ارسال درخواست POST به اندپوینت /v1/load_lora_adapter همراه با نام و مسیر، تطبیق‌دهنده‌ی جدیدی بارگذاری کنید و با اندپوینت /v1/unload_lora_adapter آن را بردارید. این قابلیت را تنها زمانی فعال کنید که به تمام فراخواننده‌های سرور اطمینان کامل دارید؛ زیرا این مسیر فایل‌ها را مستقیماً از آدرسی می‌خواند که فراخواننده ارسال می‌کند.

تغییرات در بخش‌های دیگر سرور

  • کش پیشوند (Prefix cache): تطبیق‌دهنده بخشی از کلید هر بلوک در vLLM و کلید درخت در SGLang است. دو تطبیق‌دهنده هیچ‌وقت بلوک‌های کش‌شده را به اشتراک نمی‌گذارند، حتی اگر پرامپت کاملاً یکسانی داشته باشند. یک پرامپت سیستمی مشترک، به ازای هر تطبیق‌دهنده جداگانه کش می‌شود، نه یک بار برای همه.
  • گراف‌های CUDA: فریم‌ورک vLLM برای دسته‌هایی که تطبیق‌دهنده دارند، گراف‌های جداگانه‌ای ثبت می‌کند. افزایش تعداد تطبیق‌دهنده‌ها و تنوع اندازه‌ی گراف‌ها، زمان راه‌اندازی اولیه و مصرف حافظه را بالا می‌برد.
  • نام‌گذاری: از نسخه‌ی 0.31 به بعد، نام یک تطبیق‌دهنده نمی‌تواند با نام مدل‌های سرویس‌دهی‌شده یکسان باشد.

راهنمای عملی هزینه‌ی ناشی از تعداد تطبیق‌دهنده‌ها یا رتبه‌ی آن‌ها را روی سخت‌افزار خود نسنجیده است.

انتخاب فرمت مدل پایه با در نظر گرفتن LoRA

راهنمای انتخاب در این درس نشان می‌دهد که یک مدل پایه‌ی 4-بیتی GPTQ در vLLM، به‌لطف کرنل‌های سریع Marlin، از تطبیق‌دهنده‌های LoRA پشتیبانی می‌کند؛ در حالی که فرمت‌های 4-بیتی میکرومقیاس‌بندی (Microscaling) در ابتدای سال 2026 از LoRA پشتیبانی نمی‌کردند. برای سناریویی شامل یک مدل پایه به‌همراه چندین نسخه‌ی فاین‌تیون‌شده، GPTQ مسیر مناسب 4-بیتی است؛ AWQ گزینه‌ی مناسب برای شرایط بدون LoRA است، و FP8 زمانی به کار می‌آید که نباید هیچ افتی در کیفیت مدل رخ دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: دو کلاینت مختلف پرامپت سیستمیِ طولانیِ یکسانی را از طریق دو تطبیق‌دهنده‌ی متفاوت ارسال می‌کنند. آیا درخواست دوم به کش برخورد می‌کند؟ پاسخ مورد انتظار: خیر؛ شناسه‌ی تطبیق‌دهنده بخشی از کلید بلوک در vLLM و کلید درخت در SGLang است، بنابراین دو تطبیق‌دهنده حتی با وجود توکن‌های کاملاً یکسان، بلوک‌های مشترکی در کش نخواهند داشت.
  • سطح 3: با وجود این‌که GPU بیکار است، درخواست‌های تطبیق‌دهنده‌ی دوم در صف انتظار می‌مانند. دلیل چیست؟ پاسخ مورد انتظار: سقف تطبیق‌دهنده‌ها به‌طور پیش‌فرض 1 است، بنابراین در هر دسته فقط یک تطبیق‌دهنده اجرا می‌شود و درخواست‌های تطبیق‌دهنده‌ی دیگر تا پایان آن دسته منتظر می‌مانند؛ این سقف را به تعداد تطبیق‌دهنده‌هایی که هم‌زمان مشغول به کارند افزایش دهید.
  • سطح 3: چرا برای احتیاط سقف رتبه را روی 256 نگذاریم؟ پاسخ مورد انتظار: سرور حافظه را بر اساس بالاترین رتبه‌ی مجاز رزرو می‌کند؛ تعیین یک سقف بالا، سهمی از حافظه‌ی بافر KV را برای تطبیق‌دهنده‌هایی که اصلاً ندارید هدر می‌دهد؛ سقف را دقیقاً برابر با بزرگ‌ترین رتبه‌ی خود بگذارید.
  • سطح 4: می‌خواهید وزن‌های مدل پایه را 4-بیتی کنید. کدام فرمت را انتخاب می‌کنید و این کار چه گزینه‌هایی را کنار می‌گذارد؟ پاسخ مورد انتظار: فرمت 4-بیتی GPTQ، زیرا با کرنل‌های Marlin در vLLM از تطبیق‌دهنده‌های LoRA پشتیبانی می‌کند؛ فرمت‌های 4-بیتی میکرومقیاس‌بندی در آغاز سال 2026 از LoRA پشتیبانی نمی‌کردند، بنابراین تا زمان پشتیبانی از دور خارج می‌شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «راه‌اندازی یک سرور مستقل به ازای هر تطبیق‌دهنده ساده‌تر است.» هر سرور در این حالت یک کپی کامل از مدل پایه و حافظه‌ی اختصاصی خود را نگه می‌دارد؛ در حالی که یک مدل پایه به‌همراه تطبیق‌دهنده‌ها به ازای هر درخواست، هر دو منبع را به اشتراک می‌گذارد و درخواست‌های تطبیق‌دهنده‌های مختلف می‌توانند در یک دسته اجرا شوند.
  • «مقادیر پیش‌فرض محدودیت‌ها مناسب هستند.» پیش‌فرضِ یک تطبیق‌دهنده در هر دسته باعث انتظار درخواست‌های تطبیق‌دهنده‌ی دوم می‌شود، و سقف رتبه‌ی 16 تطبیق‌دهنده‌ی رتبه‌-64 را رد می‌کند؛ هر دو را بر اساس تطبیق‌دهنده‌هایی که ارائه می‌دهید تنظیم کنید.
  • «بارگذاری تطبیق‌دهنده‌ی محیط اجرا را فعال کنید تا اپراتورها نیازی به راه‌اندازی مجدد سرور نداشته باشند.» مسیر بارگذاری فایل‌ها را مستقیماً از آدرسی که فراخواننده می‌دهد می‌خواند؛ این ویژگی را فقط در صورتی روشن کنید که به تمام فراخواننده‌های سرور اطمینان کامل دارید.
  • «استفاده از LoRA هزینه‌ای برای کش پیشوند ندارد چون مدل پایه یکی است.» تطبیق‌دهنده مقادیر کلید و مقدار را تغییر می‌دهد و به همین دلیل جزئی از کلید بلوک است؛ در نتیجه، دو تطبیق‌دهنده هرگز بلوک‌های کش‌شده را با هم به اشتراک نمی‌گذارند.

کجای دوره آموزش داده می‌شود

مطلب سرویس‌دهی به چندین مدل فاین‌تیون‌شده با multi-LoRA فلگ‌ها و محدودیت‌ها را توضیح می‌دهد، بخش پرامپت‌های سازگار با پیشوند به سازوکار کلید درخت اشاره دارد، و درس کوانتیزه‌سازی در محیط عملیاتی ترکیب مدل پایه‌ی 4-بیتی با تطبیق‌دهنده‌ها را بررسی می‌کند.