بخش 1.3 · شروع کار

درک آنچه بر سر درخواست شما می‌آید

Understand what happens to your request

فهرست مطالب
  1. دو فاز
  2. چهار عدد
  3. یک سرور، دو بار کاری

هر درخواست یک فاز کوتاه را صرف خواندن پرامپت و فازی طولانی‌تر را صرف نوشتن پاسخ می‌کند؛ چهار عدد هم این دو فاز را اندازه می‌گیرند.

شما درخواستی فرستاده‌اید و پاسخ برگشته است؛ ابتدا با کمی مکث و بعد توکن‌به‌توکن. در پایان این بخش، می‌توانید نام این دو فاز پردازش درخواست و چهار عددی را بگویید که تمام بنچ‌مارک‌های این راهنما گزارش می‌کنند.

نتیجه‌ی ما: روی سرور DGX Spark ما، 64 کاربر 8 برابر خروجی یک کاربر را دریافت کردند. در مقابل، هر کاربر برای هر توکن حدود 7.5 برابر بیشتر معطل شد.

دو فاز

پیش‌پرکنی (Prefill): مرحله‌ای که کل پرامپت (Prompt) را یک‌جا می‌خواند و کلیدها و مقادیر آن را در کش کلید-مقدار (KV cache) می‌نویسد. یک گامِ پیش‌پرکنی توکن‌های پرامپت زیادی را پردازش می‌کند؛ بنابراین GPU کاملاً درگیر محاسبات ریاضی است.

رمزگشایی (Decode): مراحلی که پاسخ را می‌نویسند؛ در هر گام، یک توکن به ازای هر درخواست. در هر مرحله، تمام وزن‌های مدل خوانده می‌شوند تا برای هر درخواست در حال اجرا یک توکن تولید شود. در اینجا GPU بیشتر منتظر حافظه می‌ماند تا محاسبات ریاضی.

vLLM این دو فاز را در قالب مراحلی جداگانه اجرا نمی‌کند. هر گامِ اسکژولر (Scheduler) یک سهمیه‌ی توکن (Token Budget) دارد. درخواست‌های در حال اجرا ابتدا توکن رمزگشایی بعدی خود را می‌گیرند. سپس اسکژولر بقیه‌ی سهمیه را تکه‌تکه صرف توکن‌های پرامپت می‌کند. پردازش یک پرامپت طولانی ممکن است چند گام زمان ببرد. بخش 8 توضیح می‌دهد که چرا vLLM این‌گونه کار می‌کند.

یک درخواست در سه فرایندیک درخواست از سه فرایند عبور می‌کند: سرور API آن را توکنایز می‌کند، هسته موتور آن را زمان‌بندی می‌کند و یک ورکر GPU مدل را اجرا می‌نماید.
یک درخواست در طول سه فرایند vLLM کلاینت درخواست HTTP را به فرایند سرور API می‌فرستد؛ این فرایند درخواست را توکنایز کرده و از طریق ZeroMQ به فرایند هسته موتور ارسال می‌کند. هسته موتور آن را زمان‌بندی کرده و دسته را به یک ورکر GPU (یکی به ازای هر GPU) می‌فرستد. شناسه‌های توکن از همان مسیر برمی‌گردند و سرور API متن را به کلاینت استریم می‌کند. YOU فرایند 1 فرایند 2 یکی برای هر GPU کلاینت curl, OpenAI SDK, bench سرور API مسیرهای HTTP توکنایزر هسته موتور Scheduler KVCacheManager ورکر GPU GPUModelRunner گذر رو به جلو 1 2 3 1 درخواست HTTP، متن ورودی 2 پیام ZeroMQ، شناسه‌های توکن 3 صف حافظه مشترک، یک دسته در هر گام بازگشت شناسه‌ها، گام به گام استریم متن به کلاینت کرش ورکر در لاگ هسته موتور نمایان می‌شود؛ کندی توکنایزر در تاخیر اولین توکن‌ها.
فلش‌های پر درخواست را به جلو می‌برند، فلش‌های خط‌چین شناسه‌های توکن را برمی‌گردانند، و فلش نقطه‌چین جریان متن است. بر اساس سورس vLLM در نسخه v0.31.0.

چهار عدد

عدد چه چیزی را اندازه می‌گیرد چه کسی آن را حس می‌کند
TTFT، زمان تا اولین توکن (Time to First Token) زمان انتظار از ارسال درخواست تا اولین توکن؛ عمدتاً زمان صف و پیش‌پرکنی کاربری که منتظر شروع پاسخ است
TPOT، زمان به ازای هر توکن خروجی (Time Per Output Token) میانگین زمان بین توکن‌ها پس از توکن اول کاربری که متنی طولانی را می‌خواند
ITL، تاخیر بین‌توکنی (Inter-Token Latency) فاصله‌ی زمانی بین هر دو توکن، به‌طوری که صدک 99ام آن بدترین توقف‌ها را نشان می‌دهد کاربری که قطع‌ووصل شدن استریم متن را می‌بیند
نرخ پردازش (Throughput) توکن‌های خروجی در ثانیه برای همه‌ی کاربران در کنار هم کسی که پول GPU را می‌دهد

یک سرور، دو بار کاری

با افزایش کاربران، این اعداد در تقابل با یکدیگر قرار می‌گیرند. در اینجا سرور DGX Spark ما در حال سرویس‌دهی به Qwen3-30B-A3B با vLLM 0.31.0 است؛ از یک کاربر تا 64 کاربر هم‌زمان.

کاربران هم‌زمان میانه‌ی TTFT میانه‌ی TPOT توکن‌های خروجی در ثانیه
1 257 میلی‌ثانیه 32.3 میلی‌ثانیه 29.5
64 965 میلی‌ثانیه 243.8 میلی‌ثانیه 239.3

با 64 کاربر، سرور حدود 8 برابر توکن بیشتری در هر ثانیه نوشت. هر کاربر تقریباً 4 برابر بیشتر معطل اولین توکن شد و تولید هر توکن هم بیش از 7 برابر زمان برد. یک سرور شلوغ به ازای هر توکن ارزان‌تر تمام می‌شود و برای هر کاربر کندتر است.

هر صفحه‌ی بهینه‌سازی (Optimization) در این راهنما یکی از این چهار عدد را تغییر می‌دهد. در هر صفحه آمده است که کدام عدد جابه‌جا می‌شود و این کار به قیمت تغییر کدام عدد تمام خواهد شد.

یک سرور، دو بار کاریروی DGX Spark ما، 64 کاربر هشت برابر خروجی کل یک کاربر را دریافت کردند، و هر کاربر برای هر توکن حدود 7.5 برابر بیشتر معطل شد.
کاربران بیشتر، مجموع توکن بیشتر، استریم کندتر برای هر کاربر اجرای vLLM 0.31.0 روی DGX Spark با مدل Qwen3-30B-A3B، با سه سید به ازای هر نقطه. چپ: توکن‌های خروجی در ثانیه برای همه کاربران از 29.5 در یک کاربر به 239.3 در 64 کاربر افزایش می‌یابد. راست: میانه زمان به ازای هر توکن خروجی برای هر کاربر از 32.3 میلی‌ثانیه به 243.8 میلی‌ثانیه می‌رسد. 0 100 200 300 1 4 16 64 کاربران همزمان توکن خروجی در ثانیه، همه کاربران 0 100 200 300 1 4 16 64 کاربران همزمان میانه میلی‌ثانیه بر توکن، هر کاربر میانه سه اجرا، بازه بین کمترین و بیشترین
نمودار سمت چپ مربوط به سرور و نمودار سمت راست مربوط به یک کاربر است. بازه‌ها فاصله بین کمترین و بیشترین مقدار در سه اجرا را نشان می‌دهند. برگرفته از capture/gpu/summary/gb10.json.

منابع: مستندات vLLM در نسخه‌ی v0.31.0 (فایل‌های docs/design/metrics.md و docs/configuration/optimization.md)، فایل capture/gpu/summary/gb10.json (بخش load.vllm) و capture/gpu/out-gb10/server-load-vllm.log.

ترجمه‌ی فارسی Understand what happens to your request از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما