هر درخواست یک فاز کوتاه را صرف خواندن پرامپت و فازی طولانیتر را صرف نوشتن پاسخ میکند؛ چهار عدد هم این دو فاز را اندازه میگیرند.
شما درخواستی فرستادهاید و پاسخ برگشته است؛ ابتدا با کمی مکث و بعد توکنبهتوکن. در پایان این بخش، میتوانید نام این دو فاز پردازش درخواست و چهار عددی را بگویید که تمام بنچمارکهای این راهنما گزارش میکنند.
نتیجهی ما: روی سرور DGX Spark ما، 64 کاربر 8 برابر خروجی یک کاربر را دریافت کردند. در مقابل، هر کاربر برای هر توکن حدود 7.5 برابر بیشتر معطل شد.
دو فاز
پیشپرکنی (Prefill): مرحلهای که کل پرامپت (Prompt) را یکجا میخواند و کلیدها و مقادیر آن را در کش کلید-مقدار (KV cache) مینویسد. یک گامِ پیشپرکنی توکنهای پرامپت زیادی را پردازش میکند؛ بنابراین GPU کاملاً درگیر محاسبات ریاضی است.
رمزگشایی (Decode): مراحلی که پاسخ را مینویسند؛ در هر گام، یک توکن به ازای هر درخواست. در هر مرحله، تمام وزنهای مدل خوانده میشوند تا برای هر درخواست در حال اجرا یک توکن تولید شود. در اینجا GPU بیشتر منتظر حافظه میماند تا محاسبات ریاضی.
vLLM این دو فاز را در قالب مراحلی جداگانه اجرا نمیکند. هر گامِ اسکژولر (Scheduler) یک سهمیهی توکن (Token Budget) دارد. درخواستهای در حال اجرا ابتدا توکن رمزگشایی بعدی خود را میگیرند. سپس اسکژولر بقیهی سهمیه را تکهتکه صرف توکنهای پرامپت میکند. پردازش یک پرامپت طولانی ممکن است چند گام زمان ببرد. بخش 8 توضیح میدهد که چرا vLLM اینگونه کار میکند.
چهار عدد
| عدد | چه چیزی را اندازه میگیرد | چه کسی آن را حس میکند |
|---|---|---|
| TTFT، زمان تا اولین توکن (Time to First Token) | زمان انتظار از ارسال درخواست تا اولین توکن؛ عمدتاً زمان صف و پیشپرکنی | کاربری که منتظر شروع پاسخ است |
| TPOT، زمان به ازای هر توکن خروجی (Time Per Output Token) | میانگین زمان بین توکنها پس از توکن اول | کاربری که متنی طولانی را میخواند |
| ITL، تاخیر بینتوکنی (Inter-Token Latency) | فاصلهی زمانی بین هر دو توکن، بهطوری که صدک 99ام آن بدترین توقفها را نشان میدهد | کاربری که قطعووصل شدن استریم متن را میبیند |
| نرخ پردازش (Throughput) | توکنهای خروجی در ثانیه برای همهی کاربران در کنار هم | کسی که پول GPU را میدهد |
یک سرور، دو بار کاری
با افزایش کاربران، این اعداد در تقابل با یکدیگر قرار میگیرند. در اینجا سرور DGX Spark ما در حال سرویسدهی به Qwen3-30B-A3B با vLLM 0.31.0 است؛ از یک کاربر تا 64 کاربر همزمان.
| کاربران همزمان | میانهی TTFT | میانهی TPOT | توکنهای خروجی در ثانیه |
|---|---|---|---|
| 1 | 257 میلیثانیه | 32.3 میلیثانیه | 29.5 |
| 64 | 965 میلیثانیه | 243.8 میلیثانیه | 239.3 |
با 64 کاربر، سرور حدود 8 برابر توکن بیشتری در هر ثانیه نوشت. هر کاربر تقریباً 4 برابر بیشتر معطل اولین توکن شد و تولید هر توکن هم بیش از 7 برابر زمان برد. یک سرور شلوغ به ازای هر توکن ارزانتر تمام میشود و برای هر کاربر کندتر است.
هر صفحهی بهینهسازی (Optimization) در این راهنما یکی از این چهار عدد را تغییر میدهد. در هر صفحه آمده است که کدام عدد جابهجا میشود و این کار به قیمت تغییر کدام عدد تمام خواهد شد.
منابع: مستندات vLLM در نسخهی v0.31.0 (فایلهای docs/design/metrics.md و docs/configuration/optimization.md)، فایل capture/gpu/summary/gb10.json (بخش load.vllm) و capture/gpu/out-gb10/server-load-vllm.log.