این بخش چرخهی اسکژولر (Scheduler)، اولویت رمزگشایی و پیشدستی از طریق محاسبهی مجدد را توضیح میدهد.
بیشتر توضیحاتی که دربارهی سروینگ مدلهای زبانی بزرگ (LLM Serving) ارائه میشود، کار را به دو فاز پیشپرکنی (prefill) و رمزگشایی (decode) تقسیم میکنند. اما اسکژولر vLLM هیچکدام را ندارد. بعد از این بخش، متوجه میشوید که اسکژولر در هر گام چه کاری انجام میدهد و چرا این طراحی باعث شده پیشپرکنی تکهای (Chunked Prefill) رفتار پیشفرض سیستم باشد.
یک پرسش برای هر درخواست
اسکژولر دربارهی تکتک درخواستها دقیقاً یک سؤال میپرسد: این درخواست هنوز به محاسبهی چند توکن دیگر نیاز دارد؟ یک درخواست تازه به تمام توکنهای پرامپت خود نیاز دارد. یک درخواستِ در حال اجرا به یک توکن احتیاج دارد؛ یا در صورت استفاده از دیکودینگ حدسی (Speculative Decoding) به چند توکن. یکی از کامنتهای سورسکد اسکژولر هم دقیقاً همین نکته را با بیان خودش بازگو میکند. چیزی به نام فاز رمزگشایی یا فاز پیشپرکنی وجود ندارد؛ فقط تعداد توکنهای باقیمانده برای محاسبه شمرده میشود.
اسکژولر در هر گام سهمیهای از توکنها (Token Budget) در اختیار دارد که با --max-num-batched-tokens تعیین میشود. در دستور vllm serve روی پردازندههای گرافیکی با حافظهی کمتر از 70 GiB (مثل L4)، مقدار پیشفرض 2,048 است. اسکژولر این سهمیه را به این ترتیب خرج میکند:
- ابتدا به هر درخواستِ در حال اجرا، توکنهای مورد نیازش را تا سقف سهمیه اختصاص میدهد.
- سپس، تا وقتی سهمیه باقی باشد و ظرفیت اجرای درخواستها پر نشده باشد، درخواستهای در صف انتظار را میپذیرد. آرگومان
--max-num-seqsتعداد درخواستهای در حال اجرا را محدود میکند. برایvllm serve، مقدار پیشفرض روی GPUهای کمتر از 70 GiB برابر با 256، و روی پردازندههای بزرگتر (بهجز A100) برابر با 1,024 است.
پرامپت بلندی که در باقیماندهی سهمیه جا نشود، بخشی از سهمیهی فعلی را میگیرد و بقیهاش به گامهای بعد موکول میشود. این همان پیشپرکنی تکهای است؛ قابلیتی که بهطور پیشفرض فعال است، چون طراحیِ مبتنی بر سهمیه برای پشتیبانی از آن به هیچ سازوکار اضافهای نیاز ندارد.
چرا اولویت با رمزگشایی است؟
درخواستهای در حال اجرا اولویت اول هستند تا کاربری که مشغول دیدن خروجی جریانی (Stream) است، آن را پیوسته ببیند. پرامپت جدید منتظر سهمیهی باقیمانده میماند. مستندات vLLM به این مصالحه اشاره کرده است: سهمیهی کوچکتر خروجی جریانی روانتری میسازد، و سهمیهی بزرگتر اولین توکن را برای پرامپتهای طولانی سریعتر تحویل میدهد. سهمیهی پیشفرض کوچک 2,048، انتخابی بهنفع استریم است. پردازندههای گرافیکی با 70 GiB حافظه یا بیشتر، سهمیهی 8,192 میگیرند و صفحهی پرامپتهای طولانی قاعدهی آن را آورده است.
هنگام کمبود حافظه چه اتفاقی میافتد؟
یک درخواست در حال اجرا بهازای هر 16 توکن به یک بلوک حافظهی KV جدید نیاز دارد. اگر هیچ بلوکی آزاد نباشد، اسکژولر دست به پیشدستی (Preemption) میزند. طبق سیاست پیشفرض اولویت با ورود، جدیدترین درخواست در حال اجرا را انتخاب میکند، تمام بلوکهایش را آزاد میسازد و درخواست را به اول صف انتظار (Head) برمیگرداند. وقتی نوبت اجرای مجدد این درخواست برسد، vLLM توکنهای آن را دوباره از اول محاسبه میکند.
در نسخههای قدیمیتر vLLM امکان کپی کردن بلوکها به حافظهی CPU و بازگرداندن آنها هم وجود داشت. موتور فعلی فقط محاسبهی مجدد انجام میدهد، چون طبق ارزیابی مستندات، در این معماری هزینهی محاسبهی مجدد کمتر درمیآید. این هزینه خود را بهشکل طولانیتر شدن زمان پاسخ برای درخواست پیشدستیشده و در قالب شمارندهی vllm:num_preemptions نشان میدهد.
چرا یک سهمیهی واحد؟
یک سهمیه برای هر نوع کاری، اسکژولر را ساده نگه میدارد. کش پیشوند (Prefix Caching) فقط تعداد توکنهای نیازمند محاسبه را کم میکند. دیکودینگ حدسی هم فقط تعداد توکنهای یک درخواست در حال اجرا را بالا میبرد. همان چرخهی مشترک به همهی آنها رسیدگی میکند. هزینهی این طراحی آن است که یک عددِ واحد تعادل بین سرعت اولین توکن و استریم را مشخص میکند؛ عددی که هیچ مقدار ثابتی از آن با تمام بارهای کاری جور درنمیآید.
منابع: سورسکد vLLM در نسخهی v0.31.0 (مسیرهای vllm/v1/core/sched/scheduler.py و vllm/config/scheduler.py)، مستندات vLLM در نسخهی v0.31.0 (مسیر docs/configuration/optimization.md).