بخش 8.1 · vLLM چگونه کار می‌کند

چرا vLLM سه نوع فرایند اجرا می‌کند

Why vLLM runs three kinds of process

فهرست مطالب
  1. سه وظیفه‌ای که سر تصاحب یک CPU رقابت می‌کنند
  2. محاسبه‌ی تعداد فرایندها
  3. چرا از تردها استفاده نمی‌شود؟

این صفحه ساختار سرور API، هسته‌ی موتور و ورکرها را توضیح می‌دهد و دلیل تفکیک آن‌ها در قالب فرایندهای مجزا را بررسی می‌کند.

دستور vllm serve روی یک GPU سه فرایند (Process) مختلف بالا می‌آورد و با افزودن هر GPU، به این تعداد اضافه می‌شود. پس از مطالعه‌ی این بخش، می‌توانید نام هر فرایند را بگویید، مشخص کنید مالک چه وظایفی است و تعداد فرایندها را برای یک پیکربندی موازی پیش‌بینی کنید.

سه وظیفه‌ای که سر تصاحب یک CPU رقابت می‌کنند

یک موتور سرویس‌دهی سه کار مختلف انجام می‌دهد: با پروتکل HTTP صحبت می‌کند و متن را به توکن (Token) و برعکس تبدیل می‌سازد؛ تصمیم می‌گیرد کدام درخواست‌ها در مرحله‌ی بعدی اجرا شوند؛ و مدل را روی GPU اجرا می‌کند.

اگر همه‌ی این‌ها داخل یک فرایند پایتون اجرا شوند، باید نوبتی زیر سایه‌ی یک قفل مفسر (Interpreter lock) کار کنند. در نتیجه، وقتی سرور مشغول توکن‌سازی (Tokenization) یک پرامپت (Prompt) طولانی است، اسکژولر (Scheduler) معطل می‌ماند و GPU هم منتظر اسکژولر می‌نشیند. روی یک GPU سریع، یک گام رمزگشایی (decode) فقط چند میلی‌ثانیه طول می‌کشد. بنابراین، چند میلی‌ثانیه پردازش پایتون بین مراحل، سهم بزرگی از زمان GPU را به بیکاری می‌کشاند.

vLLM به هر یک از این وظایف فرایند ویژه‌ی خودش را اختصاص می‌دهد:

فرایند مالکیت و وظایف تعداد
سرور API مدیریت پروتکل HTTP، مسیرهای OpenAI، توکن‌سازی، ورودی‌های چندوجهی (multimodal) و استریم پاسخ به کلاینت به‌طور پیش‌فرض 1 عدد، یا یک فرایند به ازای هر رتبه (Rank) در موازی‌سازی داده (Data Parallelism)
هسته‌ی موتور (Engine core) اسکژولر، مدیریت کش کلید-مقدار (KV cache) و حلقه‌ای که کار را به ورکرها می‌فرستد یک عدد به ازای هر رتبه در موازی‌سازی داده
ورکر GPU وزن‌ها و گذر رو به جلو (forward pass) روی یک GPU یک عدد به ازای هر GPU (حاصل‌ضرب اندازه‌ی تنسور در اندازه‌ی پایپ‌لاین به ازای هر هسته‌ی موتور)

سرور API و هسته‌ی موتور از طریق سوکت‌های ZeroMQ پیام ردوبدل می‌کنند. ارتباط بین هسته‌ی موتور و ورکرهایش نیز از طریق صف‌های حافظه‌ی اشتراکی انجام می‌شود. در پیکربندی موازی‌سازی داده، یک فرایند دیگر به نام هماهنگ‌کننده (coordinator) هم اضافه می‌شود تا رتبه‌ها را هم‌گام نگه دارد.

محاسبه‌ی تعداد فرایندها

مستندات طراحی vLLM برای محاسبه‌ی تعداد فرایندها فرمولی ارائه می‌دهند: تعداد سرورهای API، هسته‌های موتورِ مربوط به موازی‌سازی داده و ورکرهای GPU را با هم جمع کنید، به‌اضافه‌ی یک هماهنگ‌کننده برای موازی‌سازی داده. برای نمونه، سروری با آرگومان tp 4- یک سرور API، یک هسته‌ی موتور و چهار ورکر را اجرا می‌کند، یعنی در مجموع 6 فرایند.

دانستن این موضوع هنگام بروز خطا اهمیت زیادی دارد. کرش کردن یک ورکر در لاگ‌های هسته‌ی موتور دیده می‌شود. کندی توکن‌ساز نیز خود را به‌صورت تأخیر زیاد تا اولین توکن نشان می‌دهد، در حالی که GPU بیکار است. پس هر زمان لاگی را می‌خوانید، ابتدا مشخص کنید کدام فرایند آن خط را نوشته است.

شش فرایند برای چهار GPUیک سرور با اندازه موازی‌سازی تنسور 4، شش فرایند را اجرا می‌کند: یک سرور API، یک هسته موتور و چهار ورکر GPU.
یک سرور با tp 4- شش فرایند اجرا می‌کند دستور vllm serve یک فرایند سرور API را آغاز می‌کند. سپس یک فرایند هسته موتور را اجرا می‌کند که اسکژولر و مدیر کش کلید-مقدار را اجرا می‌نماید. هسته موتور به ازای هر GPU یک ورکر GPU اجرا می‌کند که برای اندازه موازی‌سازی تنسور 4، چهار ورکر خواهد بود. در مجموع شش فرایند. سرور API HTTP، توکن‌ساز هسته موتور اسکژولر، مدیر KV ZeroMQ ورکر 0 GPU 0، رتبه 0 ورکر 1 GPU 1، رتبه 1 ورکر 2 GPU 2، رتبه 2 ورکر 3 GPU 3، رتبه 3 Count: 1 API server + 1 engine core + 4 workers = 6 processes.
از بالا به پایین بخوانید. هر ورکر مالک یک GPU است. برگرفته از مستندات طراحی vLLM در نسخه 0.31.0.

چرا از تردها استفاده نمی‌شود؟

تردها در یک فرایند پایتون قفل مفسر را به اشتراک می‌گذارند، بنابراین زمان انتظار را حذف نمی‌کنند. علاوه بر این، فرایندهای مجزا به vLLM اجازه می‌دهند یک بخش را بدون دست زدن به بقیه ری‌استارت یا تعویض کند. در مخزن (Repository) این پروژه یک فرانت‌اند آزمایشی با زبان Rust نیز قرار دارد که جایگزین سرور API پایتونی می‌شود و از طریق همان سوکت‌ها با همان هسته‌ی موتور ارتباط برقرار می‌کند.

تفکیک فرایندها هزینه‌ای هم دارد: هر درخواست و خروجی باید در مرز میان دو فرایند کپی شود. اما حجم این کپی در مقایسه با زمان یک مرحله از مدل ناچیز است؛ بنابراین معماری این هزینه را می‌پذیرد. با تنظیم متغیر محیطی VLLM_ENABLE_V1_MULTIPROCESSING=0، هسته‌ی موتور به جای فرایند مجزا، درون همان فرایند سرور API اجرا می‌شود. راهنمای بازتولیدپذیری (Reproducibility) برای اجراهای آفلاین از این متغیر استفاده می‌کند، زیرا تک‌فرایندی بودن ترتیب زمان‌بندی را تکرارپذیر می‌سازد.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 فایل‌های (vllm/v1/engine/core.py ،vllm/v1/engine/core_client.py ،vllm/v1/executor/multiproc_executor.py ،vllm/envs.py و rust/README.md)؛ مستندات vLLM در نسخه‌ی v0.31.0 بخش‌های (docs/design/arch_overview.md و docs/usage/reproducibility.md).

ترجمه‌ی فارسی Why vLLM runs three kinds of process از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما