بخش 8.5 · vLLM چگونه کار می‌کند

تغییرات اجراکننده مدل V2

What Model Runner V2 changed

فهرست مطالب
  1. وظیفه اجراکننده مدل چیست؟
  2. دو ایده کلیدی
  3. در چه شرایطی اجراکننده قدیمی فعال می‌شود؟
  4. گام‌های بعدی

این صفحه به بررسی اجراکننده مدل جدید (Model Runner) و علت نیاز زمان‌بندی ناهمگام (async scheduling) به آن می‌پردازد.

در نسخه 0.31.0، کتابخانه vLLM دو اجراکننده مدل دارد و این‌که کدام‌یک فعال شود به فلگ‌های شما بستگی دارد. پس از مطالعه‌ی این بخش، متوجه می‌شوید سرورتان از کدام اجراکننده استفاده می‌کند و چرا روش گمانه‌زنی (speculation method) می‌تواند آن را تغییر دهد.

وظیفه اجراکننده مدل چیست؟

اجراکننده مدل داخل هر ورکرِ GPU مستقر است. این جزء دسته‌ای (batch) را که اسکژولر (Scheduler) انتخاب کرده تحویل می‌گیرد، تنسورهای ورودی را می‌سازد، گذر رو به جلو (forward pass) را اجرا می‌کند و توکن‌های بعدی را نمونه‌برداری می‌کند. همچنین بارگذاری وزن‌ها، پروفایل‌گیری اولیه هنگام راه‌اندازی و ثبت گراف‌های CUDA نیز بر عهده‌ی آن است.

اولین اجراکننده در موتور V1 به بیش از 7,500 خط کد رسید. طبق یادداشت‌های طراحی تیم vLLM، نسخه اول خطاهای طراحی و بدهی فنی فراوانی داشت. به همین دلیل، تیم توسعه Model Runner V2 را از اصول بنیادین بازنویسی کرد. اجراکننده‌ی جدید حالا حدوداً یک‌سوم نسخه قبلی حجم دارد.

دو ایده کلیدی

جدول ثابت برای ردیف‌های درخواست. نسخه Model Runner V2 یک دسته ماندگار نگه می‌دارد که در آن به ازای هر جایگاه (slot) در --max-num-seqs یک ردیف در نظر گرفته شده است؛ یعنی 256 جایگاه روی GPUهای ما. هر درخواست در تمام طول عمرش مالک یک ردیف مشخص است. اگر درخواستی دچار پیش‌دستی (preemption) شود، درست مثل یک درخواست تمام‌شده ردیفش را خالی می‌کند. اجراکننده در هر گام به‌جای ساخت دوباره‌ی دسته، فقط بخش‌هایی را که تغییر کرده‌اند به‌روزرسانی می‌کند.

حذف توقف‌های CPU. اجراکننده کارهایش را روی یک جریان CUDA (اصطلاحاً CUDA stream) نگه می‌دارد و از نقاطی که CPU مجبور باشد منتظر GPU بماند دوری می‌کند. این کار به اسکژولر اجازه می‌دهد هم‌زمان با پردازش گام فعلی روی GPU، گام بعدی را برنامه‌ریزی کند. به این سازوکار، زمان‌بندی ناهمگام می‌گویند که برای بیشتر مدل‌های تولید متن به‌طور پیش‌فرض فعال است.

در چه شرایطی اجراکننده قدیمی فعال می‌شود؟

روی بستر CUDA و در صورت نصب بودن Triton، انتخاب پیش‌فرض Model Runner V2 است. با این حال vLLM 0.31.0 در مواردی از جمله سناریوهای زیر، از اجراکننده قدیمی استفاده می‌کند:

  • روش‌های گمانه‌زنی n-gram، پسوند (suffix)، Medusa یا MLP.
  • حالت کش all در Mamba (که در نسخه 0.32 حذف شد).
  • حالت پیش‌فرض torch.compile و برخی قابلیت‌های موازی‌سازی مثل موازی‌سازی توالی همراه با موازی‌سازی تنسور (Tensor Parallelism).

با متغیرهای VLLM_USE_V2_MODEL_RUNNER=0 یا =1 می‌توانید انتخاب را روی گزینه دلخواه ثابت کنید.

این موضوع بیش از همه در گمانه‌زنی اهمیت دارد. روش EAGLE3 اجراکننده جدید و زمان‌بندی ناهمگام را فعال نگه می‌دارد. در مقابل، گمانه‌زنی N-gram سیستم را به اجراکننده قدیمی منتقل کرده و زمان‌بندی ناهمگام را خاموش می‌کند؛ بنابراین مقایسه این دو روش، در عمل مقایسه دو اجراکننده مختلف نیز هست.

گام‌های بعدی

نقشه راه vLLM برای سه‌ماهه چهارم سال 2026، حذف کامل اجراکننده قدیمی را هدف گرفته است. از نسخه 0.30 به بعد، در هر انتشار قابلیت‌های بیشتری به اجراکننده جدید منتقل شده‌اند. اگر یکی از فلگ‌های تنظیمی شما را به اجراکننده قدیمی منتقل می‌کند، پیش از تصمیم‌گیری نهایی روی آن پیکربندی، حتماً نسخه بعدی را بررسی کنید.

منابع: سورس‌کد vLLM در نسخه v0.31.0 (فایل‌های vllm/config/vllm.py، vllm/v1/worker/gpu_model_runner.py، vllm/v1/worker/gpu/model_runner.py، vllm/envs.py)، مستندات vLLM در نگارش v0.31.0 (سند docs/design/model_runner_v2.md)، نقشه راه vLLM برای سه‌ماهه چهارم 2026 (موضوع 61024)، یادداشت‌های انتشار نسخه‌های v0.30.0 و v0.32.0.

ترجمه‌ی فارسی What Model Runner V2 changed از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما