بخش 8.9 · vLLM چگونه کار می‌کند

خاستگاه vLLM

Where vLLM came from

فهرست مطالب
  1. پروژه‌ای در برکلی با یک ایده
  2. قابلیت‌های موتور نخست
  3. بازنویسی
  4. روند کنونی انتشار نسخه‌ها
  5. چه کسانی پروژه را اداره می‌کنند؟

این بخش ماجرای پروژه‌ی برکلی، مهاجرت از موتور V0 به V1 و سازوکار حاکمیت پروژه را توضیح می‌دهد.

نسخه‌ای از vLLM که امروز نصب می‌کنید، در واقع دومین موتوری است که با همین نام عرضه می‌شود. در پایان این بخش، می‌دانید که پروژه از کجا شروع شد، چرا مهندسانش دست به بازنویسی کامل موتور آن زدند و اکنون چه کسانی مسیر آینده‌اش را تعیین می‌کنند.

پروژه‌ای در برکلی با یک ایده

این مخزن در تاریخ 2023-02-09 در دانشگاه کالیفرنیا، برکلی و با commitهای وو‌سوک کوان (Woosuk Kwon) آغاز به کار کرد. نخستین نسخه‌ی عمومی، یعنی v0.1.0، در تاریخ 2023-06-20 همراه با پستی وبلاگی منتشر شد که پجد اتنشن (PagedAttention) را معرفی می‌کرد. مقاله‌ی علمی همین ایده نیز در کنفرانس SOSP 2023 ارائه شد.

ایده‌ی اصلی این بود: کش کلید-مقدار (KV cache) در بلوک‌هایی با اندازه‌ی ثابت ذخیره شود؛ درست همان‌طور که سیستم‌عامل حافظه را در قالب صفحه (page) نگه می‌دارد. به این ترتیب، سرور می‌توانست درخواست‌های بیشتری را روی یک GPU جا دهد و درخواست‌ها هم می‌توانستند بلوک‌ها را با یکدیگر به اشتراک بگذارند. کاربران اولیه، این ابزار را در پشت صحنه‌ی Chatbot Arena و دموهای مدل Vicuna متعلق به تیم LMSYS اجرا کردند.

قابلیت‌های موتور نخست

بین سال‌های 2023 تا 2025، موتور اول بیشتر قابلیت‌هایی را که در این راهنما بررسی می‌کنیم به دست آورد:

نسخه تاریخ قابلیت‌های اضافه‌شده
v0.3.0 2024-01-31 قابلیت آزمایشی multi-LoRA، کش پیشوند (prefix caching) آزمایشی و کش کلید-مقدار با فرمت FP8
v0.4.0 2024-03-30 کش پیشوند خودکار، به همراه نسخه‌های اولیه‌ی پیش‌پرکنی تکه‌ای (chunked prefill) و دیکودینگ حدسی (speculative decoding)
v0.6.0 2024-09-04 حدود دو برابر نرخ پردازش (throughput) بیشتر نسبت به v0.5.3 با تنظیمات پیش‌فرض، پردازنده‌ی خروجی ناهمگام و یک اسکژولر (scheduler) چندمرحله‌ای اختیاری

برداشت ما این است: هر قابلیت به ساختاری اضافه می‌شد که از قبل برای آن برنامه‌ریزی نکرده بود؛ در نتیجه، تغییر دادن کدها روزبه‌روز سخت‌تر شد.

بازنویسی

تیم توسعه موتور دومی به نام V1 ساخت. هدف‌های آن عبارت بودند از: پایه‌کدی ساده و ماژولار، سربار پردازشی تقریباً صفر روی CPU، و فعال بودن بهینه‌سازی‌های اصلی به‌صورت پیش‌فرض. موتور V1 برای نخستین بار در تاریخ 2025-01-27 برای آزمایش در نسخه‌ی v0.7.0 همراه با فعال بودن پیش‌فرض torch.compile عرضه شد. این موتور در نسخه‌ی v0.8.0 در تاریخ 2025-03-18 به موتور پیش‌فرض تبدیل شد. سرانجام با انتشار نسخه‌ی v0.11.0 در تاریخ 2025-10-02، موتور قدیمی به‌طور کامل کنار رفت.

ایده‌هایی که در دیگر صفحات بخش 8 می‌خوانید، حاصل همین بازنویسی هستند. یک سهمیه‌ی توکن (token budget) یکپارچه جای مسیرهای جداگانه‌ی پیش‌پرکنی (prefill) و رمزگشایی (decode) را گرفت. پیش‌پرکنی تکه‌ای و کش پیشوند به حالت پیش‌فرض تبدیل شدند. با تفکیک فرایندها (process split)، اسکژولر به فرایند مستقل خودش منتقل شد. بعدها Model Runner V2 اجراکننده‌ی مدل (model runner) را از نو بازسازی کرد؛ بخشی که به گفته‌ی خود تیم، ایرادهای طراحی داشت.

روند کنونی انتشار نسخه‌ها

تا پیش از v0.11، نسخه‌های فرعی جدید هر یک تا پنج ماه یک‌بار عرضه می‌شدند. اما از نسخه‌ی v0.12.0 در دسامبر 2025 به بعد، تقریباً هر دو هفته یک نسخه‌ی فرعی تازه منتشر می‌شود. تا تاریخ 2026-10-18 این پروژه 108 نسخه روی GitHub منتشر کرده بود. هر نسخه مقادیر پیش‌فرض را تغییر می‌دهد و فلگ‌های منسوخ‌شده را حذف می‌کند؛ بنابراین دستورالعملی که چند ماه پیش کار می‌کرد ممکن است امروز نادرست باشد. به همین دلیل، این راهنما نسخه‌ی مشخص 0.31.0 را مبنا قرار داده است.

چه کسانی پروژه را اداره می‌کنند؟

این پروژه دوره‌ی انکوباسیون خود را در ژوئیه 2024 در بنیاد داده و هوش مصنوعی لینوکس (LF AI and Data Foundation) آغاز کرد. در تاریخ 2025-05-07، به پروژه‌ای تحت میزبانی بنیاد PyTorch تبدیل شد. 5 نگهدارنده‌ی ارشد و 55 توسعه‌دهنده‌ی فعال (committer) تغییرات را بررسی می‌کنند. شرکت‌ها نیز مهندسانی را به پروژه اختصاص می‌دهند. شرکت Red Hat هم پس از خرید Neural Magic در ژانویه 2025، تیم آن را وارد پروژه کرد.

این سرعت توسعه هزینه‌ای دارد که در سطح پروژه آشکارا درباره‌اش بحث می‌شود. در سپتامبر و اکتبر 2026، دو RFC در پروژه مطرح شد که نشان می‌دادند روند بازبینی نمی‌تواند پابه‌پای تعداد pull requestها پیش برود. یکی از آن‌ها ایجاد نقش reviewer را پیشنهاد می‌داد. دیگری به ارزیابی‌ها و بنچمارک‌هایی اشاره داشت که مشارکت‌کنندگان باید روی GPUهای خودشان اجرا کنند تا هر pull request همراه با شواهد (evidence) عملکردی خودش ثبت شود.

منابع: فهرست نسخه‌های vllm-project/vllm در GitHub (دریافت‌شده در تاریخ 2026-10-22)، تاریخچه‌ی commitهای مخزن vllm-project/vllm (تاریخ 2023-02-09)، پست وبلاگ معرفی vLLM با عنوان vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention (تاریخ 2023-06-20)، مقاله‌ی PagedAttention با عنوان Efficient Memory Management for Large Language Model Serving with PagedAttention (شناسه‌ی arXiv 2309.06180، کنفرانس SOSP 2023)، یادداشت‌های انتشار نسخه‌های v0.1.0، v0.3.0، v0.4.0، v0.6.0، v0.7.0، v0.8.0، v0.11.0 و v0.12.0، پست وبلاگ vLLM با عنوان vLLM V1: A Major Upgrade to vLLM's Core Architecture (تاریخ 2025-01-27)، پست وبلاگ vLLM با عنوان vLLM's Open Governance and Performance Roadmap (تاریخ 2024-07-25)، پست بنیاد PyTorch با عنوان PyTorch Foundation Welcomes vLLM as a Hosted Project (تاریخ 2025-05-07)، بیانیه‌ی مطبوعاتی Red Hat با عنوان Red Hat Completes Acquisition of Neural Magic to Fuel Optimized Generative AI Innovation Across the Hybrid Cloud (تاریخ 2025-01-13)، مستندات vLLM در نسخه‌ی v0.31.0 (مسیرهای docs/governance/process.md، docs/governance/committers.md و docs/design/model_runner_v2.md) و issueهای شماره‌ی 58253 و 61698 در vLLM.

ترجمه‌ی فارسی Where vLLM came from از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما