این صفحه ساختار سرور API، هستهی موتور و ورکرها را توضیح میدهد و دلیل تفکیک آنها در قالب فرایندهای مجزا را بررسی میکند.
دستور vllm serve روی یک GPU سه فرایند (Process) مختلف بالا میآورد و با افزودن هر GPU، به این تعداد اضافه میشود. پس از مطالعهی این بخش، میتوانید نام هر فرایند را بگویید، مشخص کنید مالک چه وظایفی است و تعداد فرایندها را برای یک پیکربندی موازی پیشبینی کنید.
سه وظیفهای که سر تصاحب یک CPU رقابت میکنند
یک موتور سرویسدهی سه کار مختلف انجام میدهد: با پروتکل HTTP صحبت میکند و متن را به توکن (Token) و برعکس تبدیل میسازد؛ تصمیم میگیرد کدام درخواستها در مرحلهی بعدی اجرا شوند؛ و مدل را روی GPU اجرا میکند.
اگر همهی اینها داخل یک فرایند پایتون اجرا شوند، باید نوبتی زیر سایهی یک قفل مفسر (Interpreter lock) کار کنند. در نتیجه، وقتی سرور مشغول توکنسازی (Tokenization) یک پرامپت (Prompt) طولانی است، اسکژولر (Scheduler) معطل میماند و GPU هم منتظر اسکژولر مینشیند. روی یک GPU سریع، یک گام رمزگشایی (decode) فقط چند میلیثانیه طول میکشد. بنابراین، چند میلیثانیه پردازش پایتون بین مراحل، سهم بزرگی از زمان GPU را به بیکاری میکشاند.
vLLM به هر یک از این وظایف فرایند ویژهی خودش را اختصاص میدهد:
| فرایند | مالکیت و وظایف | تعداد |
|---|---|---|
| سرور API | مدیریت پروتکل HTTP، مسیرهای OpenAI، توکنسازی، ورودیهای چندوجهی (multimodal) و استریم پاسخ به کلاینت | بهطور پیشفرض 1 عدد، یا یک فرایند به ازای هر رتبه (Rank) در موازیسازی داده (Data Parallelism) |
| هستهی موتور (Engine core) | اسکژولر، مدیریت کش کلید-مقدار (KV cache) و حلقهای که کار را به ورکرها میفرستد | یک عدد به ازای هر رتبه در موازیسازی داده |
| ورکر GPU | وزنها و گذر رو به جلو (forward pass) روی یک GPU | یک عدد به ازای هر GPU (حاصلضرب اندازهی تنسور در اندازهی پایپلاین به ازای هر هستهی موتور) |
سرور API و هستهی موتور از طریق سوکتهای ZeroMQ پیام ردوبدل میکنند. ارتباط بین هستهی موتور و ورکرهایش نیز از طریق صفهای حافظهی اشتراکی انجام میشود. در پیکربندی موازیسازی داده، یک فرایند دیگر به نام هماهنگکننده (coordinator) هم اضافه میشود تا رتبهها را همگام نگه دارد.
محاسبهی تعداد فرایندها
مستندات طراحی vLLM برای محاسبهی تعداد فرایندها فرمولی ارائه میدهند: تعداد سرورهای API، هستههای موتورِ مربوط به موازیسازی داده و ورکرهای GPU را با هم جمع کنید، بهاضافهی یک هماهنگکننده برای موازیسازی داده. برای نمونه، سروری با آرگومان tp 4- یک سرور API، یک هستهی موتور و چهار ورکر را اجرا میکند، یعنی در مجموع 6 فرایند.
دانستن این موضوع هنگام بروز خطا اهمیت زیادی دارد. کرش کردن یک ورکر در لاگهای هستهی موتور دیده میشود. کندی توکنساز نیز خود را بهصورت تأخیر زیاد تا اولین توکن نشان میدهد، در حالی که GPU بیکار است. پس هر زمان لاگی را میخوانید، ابتدا مشخص کنید کدام فرایند آن خط را نوشته است.
چرا از تردها استفاده نمیشود؟
تردها در یک فرایند پایتون قفل مفسر را به اشتراک میگذارند، بنابراین زمان انتظار را حذف نمیکنند. علاوه بر این، فرایندهای مجزا به vLLM اجازه میدهند یک بخش را بدون دست زدن به بقیه ریاستارت یا تعویض کند. در مخزن (Repository) این پروژه یک فرانتاند آزمایشی با زبان Rust نیز قرار دارد که جایگزین سرور API پایتونی میشود و از طریق همان سوکتها با همان هستهی موتور ارتباط برقرار میکند.
تفکیک فرایندها هزینهای هم دارد: هر درخواست و خروجی باید در مرز میان دو فرایند کپی شود. اما حجم این کپی در مقایسه با زمان یک مرحله از مدل ناچیز است؛ بنابراین معماری این هزینه را میپذیرد. با تنظیم متغیر محیطی VLLM_ENABLE_V1_MULTIPROCESSING=0، هستهی موتور به جای فرایند مجزا، درون همان فرایند سرور API اجرا میشود. راهنمای بازتولیدپذیری (Reproducibility) برای اجراهای آفلاین از این متغیر استفاده میکند، زیرا تکفرایندی بودن ترتیب زمانبندی را تکرارپذیر میسازد.
منابع: سورسکد vLLM در نسخهی v0.31.0 فایلهای (vllm/v1/engine/core.py ،vllm/v1/engine/core_client.py ،vllm/v1/executor/multiproc_executor.py ،vllm/envs.py و rust/README.md)؛ مستندات vLLM در نسخهی v0.31.0 بخشهای (docs/design/arch_overview.md و docs/usage/reproducibility.md).