بخش 8.2 · vLLM چگونه کار می‌کند

چرا یک سهمیه‌ی توکن جایگزین فاز پیش‌پرکنی می‌شود؟

Why one token budget replaces a prefill phase

فهرست مطالب
  1. یک پرسش برای هر درخواست
  2. چرا اولویت با رمزگشایی است؟
  3. هنگام کمبود حافظه چه اتفاقی می‌افتد؟
  4. چرا یک سهمیه‌ی واحد؟

این بخش چرخه‌ی اسکژولر (Scheduler)، اولویت رمزگشایی و پیش‌دستی از طریق محاسبه‌ی مجدد را توضیح می‌دهد.

بیشتر توضیحاتی که درباره‌ی سروینگ مدل‌های زبانی بزرگ (LLM Serving) ارائه می‌شود، کار را به دو فاز پیش‌پرکنی (prefill) و رمزگشایی (decode) تقسیم می‌کنند. اما اسکژولر vLLM هیچ‌کدام را ندارد. بعد از این بخش، متوجه می‌شوید که اسکژولر در هر گام چه کاری انجام می‌دهد و چرا این طراحی باعث شده پیش‌پرکنی تکه‌ای (Chunked Prefill) رفتار پیش‌فرض سیستم باشد.

یک پرسش برای هر درخواست

اسکژولر درباره‌ی تک‌تک درخواست‌ها دقیقاً یک سؤال می‌پرسد: این درخواست هنوز به محاسبه‌ی چند توکن دیگر نیاز دارد؟ یک درخواست تازه به تمام توکن‌های پرامپت خود نیاز دارد. یک درخواستِ در حال اجرا به یک توکن احتیاج دارد؛ یا در صورت استفاده از دیکودینگ حدسی (Speculative Decoding) به چند توکن. یکی از کامنت‌های سورس‌کد اسکژولر هم دقیقاً همین نکته را با بیان خودش بازگو می‌کند. چیزی به نام فاز رمزگشایی یا فاز پیش‌پرکنی وجود ندارد؛ فقط تعداد توکن‌های باقی‌مانده برای محاسبه شمرده می‌شود.

اسکژولر در هر گام سهمیه‌ای از توکن‌ها (Token Budget) در اختیار دارد که با --max-num-batched-tokens تعیین می‌شود. در دستور vllm serve روی پردازنده‌های گرافیکی با حافظه‌ی کمتر از 70 GiB (مثل L4)، مقدار پیش‌فرض 2,048 است. اسکژولر این سهمیه را به این ترتیب خرج می‌کند:

  1. ابتدا به هر درخواستِ در حال اجرا، توکن‌های مورد نیازش را تا سقف سهمیه اختصاص می‌دهد.
  2. سپس، تا وقتی سهمیه باقی باشد و ظرفیت اجرای درخواست‌ها پر نشده باشد، درخواست‌های در صف انتظار را می‌پذیرد. آرگومان --max-num-seqs تعداد درخواست‌های در حال اجرا را محدود می‌کند. برای vllm serve، مقدار پیش‌فرض روی GPUهای کمتر از 70 GiB برابر با 256، و روی پردازنده‌های بزرگ‌تر (به‌جز A100) برابر با 1,024 است.

پرامپت بلندی که در باقیمانده‌ی سهمیه جا نشود، بخشی از سهمیه‌ی فعلی را می‌گیرد و بقیه‌اش به گام‌های بعد موکول می‌شود. این همان پیش‌پرکنی تکه‌ای است؛ قابلیتی که به‌طور پیش‌فرض فعال است، چون طراحیِ مبتنی بر سهمیه برای پشتیبانی از آن به هیچ سازوکار اضافه‌ای نیاز ندارد.

یک سهمیه‌ی توکنهر گام 2,048 توکن مصرف می‌کند: درخواست‌های در حال اجرا ابتدا یک توکن رمزگشایی می‌گیرند و پرامپت جدید باقی‌مانده را تکه‌تکه پر می‌کند.
سهمیه‌ی 2,048 توکنی در هر گام: ابتدا رمزگشایی، پرامپت‌ها باقی را پر می‌کنند سه گام اسکژولر با سهمیه‌ی پیش‌فرض 2,048 توکن. هشت درخواست در حال اجرا هرکدام یک توکن رمزگشایی برمی‌دارند و یک پرامپت جدید 4,096 توکنی باقی‌مانده را در تکه‌های 2,040 توکنی پر می‌کند. در گام 3، آخرین 16 توکن پرامپت پردازش شده و رمزگشایی درخواست جدید از گام 4 آغاز می‌شود. سهمیه هر گام، max-num-batched-tokens-- برابر 2048 گام 1 2,040 توکن پرامپت از درخواست جدید گام 2 2,040 توکن پرامپت از درخواست جدید گام 3 16 توکن آخر پرامپت، شروع رمزگشایی در گام 4 رمزگشایی، یک توکن به ازای هر درخواست جاری تکه‌ای از یک پرامپت جدید
هر سطر نشان‌دهنده‌ی یک گام اسکژولر است. تکه‌های پرامپت با مقیاس واقعی رسم شده‌اند و بلوک‌های رمزگشایی برای دیده‌شدن تعریض شده‌اند. فضای خط‌چین سهمیه‌ی استفاده‌نشده است. برگرفته از سورس‌کد vLLM در نگارش v0.31.0.

چرا اولویت با رمزگشایی است؟

درخواست‌های در حال اجرا اولویت اول هستند تا کاربری که مشغول دیدن خروجی جریانی (Stream) است، آن را پیوسته ببیند. پرامپت جدید منتظر سهمیه‌ی باقیمانده می‌ماند. مستندات vLLM به این مصالحه اشاره کرده است: سهمیه‌ی کوچک‌تر خروجی جریانی روان‌تری می‌سازد، و سهمیه‌ی بزرگ‌تر اولین توکن را برای پرامپت‌های طولانی سریع‌تر تحویل می‌دهد. سهمیه‌ی پیش‌فرض کوچک 2,048، انتخابی به‌نفع استریم است. پردازنده‌های گرافیکی با 70 GiB حافظه یا بیشتر، سهمیه‌ی 8,192 می‌گیرند و صفحه‌ی پرامپت‌های طولانی قاعده‌ی آن را آورده است.

هنگام کمبود حافظه چه اتفاقی می‌افتد؟

یک درخواست در حال اجرا به‌ازای هر 16 توکن به یک بلوک حافظه‌ی KV جدید نیاز دارد. اگر هیچ بلوکی آزاد نباشد، اسکژولر دست به پیش‌دستی (Preemption) می‌زند. طبق سیاست پیش‌فرض اولویت با ورود، جدیدترین درخواست در حال اجرا را انتخاب می‌کند، تمام بلوک‌هایش را آزاد می‌سازد و درخواست را به اول صف انتظار (Head) برمی‌گرداند. وقتی نوبت اجرای مجدد این درخواست برسد، vLLM توکن‌های آن را دوباره از اول محاسبه می‌کند.

در نسخه‌های قدیمی‌تر vLLM امکان کپی کردن بلوک‌ها به حافظه‌ی CPU و بازگرداندن آن‌ها هم وجود داشت. موتور فعلی فقط محاسبه‌ی مجدد انجام می‌دهد، چون طبق ارزیابی مستندات، در این معماری هزینه‌ی محاسبه‌ی مجدد کمتر درمی‌آید. این هزینه خود را به‌شکل طولانی‌تر شدن زمان پاسخ برای درخواست پیش‌دستی‌شده و در قالب شمارنده‌ی vllm:num_preemptions نشان می‌دهد.

چرا یک سهمیه‌ی واحد؟

یک سهمیه برای هر نوع کاری، اسکژولر را ساده نگه می‌دارد. کش پیشوند (Prefix Caching) فقط تعداد توکن‌های نیازمند محاسبه را کم می‌کند. دیکودینگ حدسی هم فقط تعداد توکن‌های یک درخواست در حال اجرا را بالا می‌برد. همان چرخه‌ی مشترک به همه‌ی آن‌ها رسیدگی می‌کند. هزینه‌ی این طراحی آن است که یک عددِ واحد تعادل بین سرعت اولین توکن و استریم را مشخص می‌کند؛ عددی که هیچ مقدار ثابتی از آن با تمام بارهای کاری جور درنمی‌آید.

منابع: سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/v1/core/sched/scheduler.py و vllm/config/scheduler.py)، مستندات vLLM در نسخه‌ی v0.31.0 (مسیر docs/configuration/optimization.md).

ترجمه‌ی فارسی Why one token budget replaces a prefill phase از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما