سؤال مصاحبه

یک سهمیه‌ی توکن به‌جای دو فاز مجزا

One token budget instead of two phases

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

بیشتر توضیحات مربوط به دسته‌بندی پیوسته (continuous batching)، پردازش را به دو فاز پیش‌پرکنی (prefill) و رمزگشایی (decode) تقسیم می‌کنند که به‌نوبت روی GPU اجرا می‌شوند. در عوض، توضیح دهید اسکژولر (scheduler) در vLLM در یک گام دقیقاً چه کاری انجام می‌دهد. در این طراحی، پیش‌پرکنی تکه‌ای (chunked prefill) از کجا می‌آید و مقدار کنترل‌کننده‌ی آن را از کجا باید خواند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اسکژولر از هر درخواست یک سؤال مشترک می‌پرسد: این درخواست هنوز به محاسبه‌ی چند توکن نیاز دارد؟ هر گام یک سهمیه‌ی توکن (token budget) دارد که با --max-num-batched-tokens تعیین می‌شود و درخواست‌های در حال اجرا، توکن بعدی‌شان را اول از همه دریافت می‌کنند. پرامپت‌های در صف انتظار باقی‌مانده‌ی این سهمیه را پر می‌کنند؛ بنابراین یک پرامپت طولانی در چند گام تقسیم و پردازش می‌شود و پیش‌پرکنی تکه‌ای به هیچ سازوکار اضافه‌ای نیاز ندارد.

پاسخ کامل

یک سؤال برای همه‌ی درخواست‌ها

درخواست جدید به تمام توکن‌های پرامپت خود نیاز دارد. درخواست در حال اجرا به یک توکن نیاز دارد، یا در صورت فعال بودن دیکودینگ حدسی (speculative decoding) به چند توکن. در کد برنامه‌ی vLLM هیچ فاز پیش‌پرکنی یا فاز رمزگشایی مجزایی وجود ندارد؛ فقط تعداد توکن‌هایی که هنوز باید محاسبه شوند شمرده می‌شود.

ترتیب اولویت درون یک گام

  1. هر درخواست در حال اجرا، توکن‌های مورد نیازش را تا سقف سهمیه‌ی تعیین‌شده دریافت می‌کند.
  2. درخواست‌های در حال انتظار، تا زمانی که سهمیه و ظرفیت خالی باقی مانده باشد پذیرش می‌شوند. آرگومان --max-num-seqs سقف تعداد درخواست‌های هم‌زمان در حال اجرا را مشخص می‌کند.

اگر پرامپتی در باقی‌مانده‌ی سهمیه جا نشود، بخشی از آن در همین گام و ادامه‌اش در گام‌های بعدی پردازش خواهد شد. این همان پیش‌پرکنی تکه‌ای است که به‌طور پیش‌فرض هم فعال است؛ چرا که معماری مبتنی بر سهمیه‌ی توکن برای پشتیبانی از آن به هیچ سازوکار دیگری نیاز ندارد.

مقادیر پیش‌فرض به حافظه‌ای بستگی دارد که vLLM تشخیص می‌دهد

حافظه‌ی GPU که vLLM می‌خواند سهمیه در دستور vllm serve سهمیه در کلاس LLM مقدار --max-num-seqs در هر دو حالت
160 GiB یا بیشتر 16,384 16,384 1,024
70 GiB یا بیشتر (به‌جز A100) 8,192 16,384 1,024
کمتر از این، یا نامشخص 2,048 8,192 256

سیستم مجهز به حافظه‌ی یکپارچه (unified memory) در راهنما، دارای 121.69 GiB حافظه‌ی مشترک بین CPU و GPU است، اما لاگ آن مقدار 2,048 را نشان می‌دهد؛ یعنی همان مقداری که برای GPUهای کوچک یا ناشناخته در نظر گرفته می‌شود. پیش از آنکه این مقدار را تغییر دهید، مقداری را که سرور شما در عمل استفاده می‌کند بررسی کنید. در نسخه‌ی 0.31.0 لاگ سیستم سهمیه را با نام اختصاصی خود چاپ نمی‌کند؛ در خط پیکربندی موتور به دنبال عبارت compile_ranges_endpoints بگردید؛ بزرگ‌ترین عدد در آن فهرست، همان سهمیه‌ی توکن شماست.

چرا فاز رمزگشایی اولویت اول است؟

درخواست‌های در حال اجرا اولویت اول هستند تا کاربری که خروجی را به‌صورت استریم دریافت می‌کند، با وقفه مواجه نشود. پرامپت جدید باید منتظر باقی‌مانده‌ی سهمیه بماند. سهمیه‌ی کوچک‌تر باعث تولید استریم یکنواخت‌تر و روان‌تر می‌شود؛ سهمیه‌ی بزرگ‌تر رسیدن به اولین توکن را برای پرامپت‌های طولانی سریع‌تر می‌کند. مقدار پیش‌فرض کوچک (2,048) انتخابی آگاهانه به نفع روان بودن استریم خروجی است.

چرا استفاده از یک سهمیه‌ی واحد؟

داشتن یک سهمیه‌ی واحد برای انواع پردازش‌ها، اسکژولر را ساده نگه می‌دارد. کش پیشوند (prefix caching) صرفاً تعداد توکن‌های نیازمند محاسبه را کاهش می‌دهد. دیکودینگ حدسی فقط تعداد توکن‌های مورد نیاز یک درخواستِ در حال اجرا را بالا می‌برد. همان حلقه‌ی اجرایی مشترک به همه‌ی این حالت‌ها پاسخ می‌دهد. بهای این سادگی این است که یک عددِ تکی، توازن بین زمان رسیدن به توکن اول و روان بودن استریم را مشخص می‌کند و هیچ مقدار واحدی هم برای تمام بار‌های کاری ایده‌آل نیست.

اسکژولر ساده‌سازی‌شده‌ی این درس از تکه‌های ثابت 512 توکنی استفاده می‌کند. اما موتور واقعی در نسخه‌ی 0.31.0 اندازه‌ی تکه‌ی جداگانه‌ای ندارد: تکه در واقع هر آن چیزی است که از سهمیه در آن گام باقی مانده باشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کش پیشوند فعال است و درخواستی با پرامپت 2,048 توکنی، 1,024 توکن را در کش پیدا می‌کند. اسکژولر چه مقداری برای آن محاسبه می‌کند؟ انتظار می‌رود: 1,024 توکنی که هنوز باید محاسبه شوند؛ کش فقط تعداد توکن‌های نیازمند پردازش را کم می‌کند و همان حلقه‌ی عادی به این درخواست رسیدگی خواهد کرد.
  • سطح 3: سروری با 121.69 GiB حافظه‌ی یکپارچه، سهمیه‌ی 2,048 را لاگ می‌کند. چرا 8,192 ثبت نشده است؟ انتظار می‌رود: مقدار پیش‌فرض بر اساس حافظه‌ای که vLLM می‌خواند تعیین می‌شود و ماشین‌های حافظه‌ی یکپارچه، کوچک یا نامشخص شناسایی می‌شوند؛ بنابراین مقدار کمتر را دریافت می‌کنند؛ قبل از تغییر دادن، compile_ranges_endpoints را بررسی کنید.
  • سطح 4: دیکودینگ حدسی با سه توکن پیش‌نویس فعال است. قاعده‌ی سهمیه چه تغییری می‌کند؟ انتظار می‌رود: هیچ تغییری نمی‌کند؛ یک درخواست در حال اجرا حالا در هر گام به بیش از یک توکن نیاز دارد، پس شمارنده‌ی آن بالا می‌رود و سهمیه با همان ترتیب قبلی خرج می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پیش‌پرکنی تکه‌ای فلگی است که باید دستی فعالش کنید.» این ویژگی نتیجه‌ی طبیعی مدیریت سهمیه است: پرامپتی که در باقی‌مانده‌ی سهمیه جا نشود، بخشی را اکنون و بقیه را در ادامه پردازش می‌کند؛ پس به‌طور پیش‌فرض فعال است و سازوکار مجزایی ندارد.
  • «پرامپت‌های جدید اول پردازش می‌شوند تا اولین توکن سریع‌تر بیاید.» درخواست‌های در حال اجرا توکن‌هایشان را اول می‌گیرند تا کاربری که استریم متن را می‌بیند دچار قطعی نشود؛ پرامپت جدید منتظر باقی‌مانده‌ی سهمیه می‌ماند.
  • «سهمیه روی همه‌ی GPUها معادل 2,048 است.» این عدد به حافظه‌ای بستگی دارد که vLLM می‌خواند: 2,048 برای زیر 70 GiB، مقدار 8,192 برای 70 GiB یا بیشتر، و 16,384 برای 160 GiB یا بالاتر؛ کلاس آفلاین LLM نیز مقادیر بزرگ‌تری را به کار می‌برد.

کجای دوره آموزش داده می‌شود

بخش‌های چرا یک سهمیه‌ی توکن جایگزین فاز پیش‌پرکنی می‌شود و بخش پرامپت‌های طولانی قاعده و مقادیر پیش‌فرض را آموزش می‌دهند؛ همچنین پیاده‌سازی اسکژولر ساده‌سازی‌شده در درس معماری داخلی موتور سروینگ آمده است.