این صفحه به بررسی torch.compile، گرافهای تکهای (piecewise) و کامل، و اندازههای ضبط میپردازد.
vLLM بخش پایانی هر راهاندازی را صرف کامپایل و ضبط گرافها میکند. با پایان این بخش، متوجه خواهید شد که هر سطح بهینهسازی (optimization level) چه مواردی را فعال میکند و چرا یک گراف کامل CUDA نمیتواند همهی دستهها (batches) را پوشش دهد.
دو ابزار کاملاً مجزا
torch.compile کدهای پایتون مدل را به یک گراف ردگیری محاسبات (trace) تبدیل کرده و کرنلهای ادغامشده (fused kernels) میسازد. در فرایند ادغام (fusion)، عملیات کوچکی مانند یک گام نرمالسازی (norm) و یک گام کوانتیزهسازی (quantize) درون یک کرنل واحد تجمیع میشوند. کدهای کامپایلشده در حافظهی کش مسیر ~/.cache/vllm/torch_compile_cache ذخیره میشوند؛ بنابراین راهاندازیِ دوباره با همان تنظیمات، از بیشترِ این مراحل عبور میکند. سرور همهی کامپایلها را پیش از پاسخگویی به نخستین درخواست به پایان میرساند.
گراف CUDA دنبالهای از فراخوانیهای کرنل با ابعاد ثابت را ضبط میکند و همهی آنها را تنها با یک فراخوانی از سمت CPU دوباره بازپخش میکند (replay). مرحلهی رمزگشایی (decode) برای یک دستهی کوچک شامل صدها کرنل کوتاه است؛ گراف هزینهی CPU برای اجرای تکتک این کرنلها را از میان برمیدارد.
حالتهای مختلف گراف
گراف به ابعاد ثابت نیاز دارد، اما اتنشن (attention) همیشه ابعاد ثابتی ندارد؛ چون یک دسته میتواند ترکیبی از پرامپتهایی با طولهای متفاوت باشد. vLLM این موضوع را با حالتهای مختلفی مدیریت میکند:
| حالت | آنچه ضبط میشود |
|---|---|
NONE |
هیچچیز |
PIECEWISE |
همهچیز بهجز اتنشن، در قالب بخشهای مجزا در اطراف هر فراخوانی اتنشن |
FULL_DECODE_ONLY |
کل مرحله، فقط برای دستههایی از رمزگشاییهای تکتوکنی |
FULL_AND_PIECEWISE |
کل مرحله در صورت پشتیبانی بکاندِ اتنشن، و در غیر این صورت بهشکل تکهای |
حالت پیشفرض FULL_AND_PIECEWISE است. در زمان اجرا، توزیعکنندهی وظایف (dispatcher) بر اساس تعداد توکنها، تعداد درخواستها و یکدست بودن یا نبودن دسته، حالت مناسب را برای هر دسته انتخاب میکند. اگر بکاندِ اتنشن نتواند گراف کامل را برای یک دسته بازپخش کند، توزیعکننده به سراغ حالت تکهای میرود.
روی L4 و GB10، کتابخانهی FlashAttention 2 گرافهای کامل را فقط برای دستههای یکدست پشتیبانی میکند، مانند گامهای صرفاً رمزگشایی. یک دستهی ترکیبی که پرامپت جدیدی به همراه دارد، بهصورت تکهای اجرا میشود.
سطوح بهینهسازی
پرچمهای -O0 تا -O3 وضعیت کامپایل و گرافها را بهطور همزمان تنظیم میکنند:
| سطح | کامپایل | گرافها | ادغامها |
|---|---|---|---|
-O0 |
غیرفعال | غیرفعال | غیرفعال |
-O1 |
فعال | تکهای | نرمالسازی و کوانتیزهسازی فعالساز |
-O2 (پیشفرض) |
فعال | کامل و تکهای | موارد بیشتر، مانند all-reduce همراه با نرمالسازی |
-O3 |
در نسخهی 0.31.0 مشابه -O2 است |
پرچمی که خودتان دستی تنظیم کنید بر سطح بهینهسازی اولویت دارد. پرچم --enforce-eager کامپایل و گرافها را یکجا غیرفعال میکند. از نسخهی 0.31.0 به بعد، این پرچم گرمکردن (warmup) کرنل در زمان راهاندازی را هم خاموش میکند؛ در حالی که -O0 آن را نگه میدارد.
اندازههای ضبط
vLLM گرافها را برای فهرستی از اندازههای دسته ضبط میکند. دستهای که از بزرگترین اندازهی این فهرست بزرگتر باشد، بدون گراف کامل اجرا میشود. آرگومان --max-cudagraph-capture-size بزرگترین اندازه و --cudagraph-capture-sizes فهرست اندازهها را تعیین میکند. افزودن اندازههای بیشتر، زمان راهاندازی و مصرف حافظهی GPU را افزایش میدهد؛ حافظهای که مستقیماً از مخزن KV (یا همان KV pool) کسر میشود.
دستور vllm bench startup زمان راهاندازی را در دو حالت کش کامپایلِ سرد و گرم میسنجد تا هزینهی هر انتخاب را بهوضوح ببینید.
منابع: سورسکد vLLM در نسخهی v0.31.0 فایلهای (vllm/config/compilation.py و vllm/config/model.py و vllm/v1/attention/backends/flash_attn.py و vllm/benchmarks/startup.py)، مستندات vLLM در نسخهی v0.31.0 فایلهای (docs/design/optimization_levels.md و docs/design/torch_compile.md و docs/design/cuda_graphs.md)، یادداشتهای انتشار نسخهی v0.31.0.