هر درخواست دو فاز با هزینههای متفاوت دارد؛ و چهار عدد نشان میدهند که سرور چگونه این فازها را برای همهی کاربرانش مدیریت میکند.
در بخش 1.1 دو درخواست فرستادید و هر دو زیر یک ثانیه برگشتند. اما با ده کاربر، همین سرور ممکن است بعضی از آنها را چند ثانیه منتظر اولین کلمه نگه دارد. دلیل این موضوع در دو فاز هر درخواست نهفته است.
پس از پایان این بخش، میتوانید نام این دو فاز و چهار عددی را که کارایی سرور با آنها سنجیده میشود بگویید. همچنین متوجه میشوید چه چیزهایی در کنترل SGLang است و چه چیزهایی به مدل و به شما مربوط میشود.
دو فاز با دو هزینهی متفاوت
پیشپرکنی (prefill): گذر رو به جلو (forward pass) روی کل پرامپت (prompt) است. این فاز کلیدها و مقدارهای همهی توکنهای پرامپت را در یک دسته (batch) محاسبه میکند و اولین توکن خروجی را به دست میدهد. رمزگشایی (decode): حلقهای است که توکنهای بعدی را تولید میکند؛ یعنی یک گذر رو به جلو به ازای هر توکن در هر درخواست.
این دو فاز به شیوههای متفاوتی از GPU استفاده میکنند. پیشپرکنی در هر گذر توکنهای زیادی دارد، بنابراین واحدهای محاسباتی را کاملاً درگیر نگه میدارد. در مقابل، رمزگشایی در هر گذر تنها یک توکن جدید به ازای هر درخواست دارد.
هر گام رمزگشایی، وزنهای مورد نیاز همان گام و همچنین کلیدها و مقدارهای کششده را میخواند تا محاسبات اندکی انجام دهد. در یک مدل متراکم (dense)، این یعنی خواندن تکتک وزنها. در مدل ترکیبی از متخصصان (mixture-of-experts یا MoE)، شامل وزنهای مشترک و متخصصانی است که مسیریاب (router) انتخاب کرده است. پهنای باند حافظه سرعت رمزگشایی را تعیین میکند و توان محاسباتی، سرعت پیشپرکنی را.
ما این تفاوت را روی یک Mac با مدلی 0.6B اندازه گرفتیم. برای پرامپتی با 512 توکن، میانهی رسیدن به اولین توکن 163 میلیثانیه بود. پس از آن، هر توکن جدید بهطور میانگین 4.38 میلیثانیه طول کشید.
Max request concurrency: 1
Successful requests: 16
…
Median TTFT (ms): 162.98
…
Mean TPOT (ms): 4.38 برشخورده از خلاصه بنچمارک. صدکهای تاخیر به جز میانه و بلوک بینتوکنی حذف شدهاند.
این یعنی در بیشترین حالت حدود 0.32 میلیثانیه به ازای هر توکن پرامپت در مقایسه با 4.38 میلیثانیه برای هر توکن خروجی؛ یعنی اختلافی با ضریب حدود 14 روی این Mac. این 0.32 میلیثانیه یک حد بالا (Upper Bound) است، چون تاخیر تا اولین توکن (Time to First Token یا TTFT) زمان صف و اولین گام رمزگشایی را هم در خود دارد. روی پردازندهی L4 ما با مدل Qwen3-8B این ضریب به حدود 160 رسید: 189 میلیثانیه برای پرامپت 512 توکنی، در برابر 60 میلیثانیه برای هر توکن خروجی. یک موتور سرویسدهی میتواند کارهای پیشپرکنی را به اشتراک بگذارد یا از آنها صرفنظر کند. کار اصلی آن دستهبندی کارهای رمزگشایی است، تا با یک بار خواندن وزنها به درخواستهای متعددی پاسخ دهد. بخش 4.4 روش دیگری را برای کاهش گامهای رمزگشایی نشان میدهد.
چهار عدد
عملکرد یک سرور را با بررسی همزمان چهار عدد بسنجید. گزارشی که فقط یکی از آنها را ارائه دهد، اطلاعات چندانی به شما نمیدهد.
- تاخیر تا اولین توکن (TTFT): مدتزمانی که کاربر پیش از دیدن اولین کلمه منتظر میماند. فاز پیشپرکنی و صف این عدد را تعیین میکنند.
- زمان به ازای هر توکن خروجی (Time Per Output Token یا TPOT): میانگین فاصلهی بین توکنها پس از اولین توکن. تاخیر بینتوکنی (Inter-token Latency یا ITL) همین فاصله است که توکنبهتوکن اندازه گرفته میشود؛ در نتیجه دنبالهی توزیع آن (tail) وقفهها و گیرها را نشان میدهد. فاز رمزگشایی هر دوی اینها را تعیین میکند.
- نرخ پردازش (Throughput): تعداد توکنهای خروجی در ثانیه در کل کاربران. دستهبندی این متغیر را مشخص میکند.
- نرخ پردازش موثر (Goodput): تعداد درخواستهایی در ثانیه که همزمان به هدف TTFT و هدف TPOT میرسند. کاربران شما این عدد را حس میکنند.
سه معیار اول با هم بدهبستان دارند. یک دستهی بزرگتر نرخ پردازش را بالا میبرد و توکنهای هر کاربر را کُندتر میکند. یک تکهی بزرگ در پیشپرکنی، پرامپت طولانی را زودتر تمام میکند و در حین اجرا، تمام رمزگشاییهای داخل دسته را متوقف نگه میدارد. بخش 5.1 این بدهبستان را در یک ارزیابی واقعی نشان میدهد.
ابزار بنچمارک SGLang مقادیر TTFT، TPOT، ITL و نرخ پردازش را چاپ میکند. این ابزار در نسخهی 0.5.22 نرخ پردازش موثر را چاپ نمیکند، بنابراین باید آن را از لاگهای هر درخواست به دست آورید. درس معیارهای استنتاج این محاسبه را قدمبهقدم پیاده میکند.
قلمرو SGLang و مرزهای آن
مدیریت زمانِ بین درخواست و توکنهای آن در اختیار SGLang است. این ابزار تصمیم میگیرد کدام توکنهای پرامپت محاسبه شوند، از کدامها دوباره استفاده شود، و هر درخواست چه زمانی اجرا گردد.
سه چیز بیرون از این محدوده میماند. این مدل است که تصمیم میگیرد پاسخ چه باشد. روی Mac ما، وقتی از مدلی 0.6B خواستیم نام یک سیاره را بگوید، پاسخ داد «Ardens»؛ که اصلاً سیاره نیست. SGLang این پاسخ را درست و سریع تحویل داد، و هیچ موتور سرویسدهی نمیتواند مدل را به پاسخ درست وادارد.
شما، در نقش گردانندهی سیستم (operator)، تصمیم میگیرید چه مقدار حافظه به SGLang اختصاص یابد و درخواست به کدام ماشین برود. SGLang برای کار دوم یک مسیریاب جداگانه دارد که بخش 6.4 آن را پوشش میدهد.
مسیر یک درخواست
درون SGLang، درخواست /generate شما از سه فرایند (Process) گذشت. واحد مدیریت توکنایزر متن را به شناسههای توکن تبدیل کرد. اسکژولر (Scheduler) دو تا از پنج توکن پرامپت را در کش پیدا کرد و سه تای دیگر را محاسبه کرد. دیتوکنایزر شناسههای توکن جدید را به متن برگرداند.
اسکژولر بخش مربوط به خود از این درخواست را در قالب یک خط ثبت کرد:
[2026-10-17 14:43:41] Prefill batch, #new-seq: 1, #new-token: 3, #cached-token: 2, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 2.82
[2026-10-17 14:43:41] INFO: 127.0.0.1:58314 - "POST /generate HTTP/1.1" 200 OKخط پیشپرکنی و خط پاسخ درخواست generate/ از بخش 1.1.
مجموع #new-token: 3 و #cached-token: 2 به همان پنج توکن پرامپت میرسد. این جفت، مفیدترین خطی است که SGLang چاپ میکند. بخش 3.4 تنها با استفاده از همین خط، پرامپتی را پیدا میکند که در کش پیدا نشده است.
موضع ما
SGLang را بر اساس الگوی ترافیک کاری خود انتخاب کنید، نه هیچوقت بر مبنای عددی که در تیترها میآید. ایجنتها (Agent)، چت با پرامپت سیستمی ثابت، و بازیابی (Retrieval) با پیشدرآمد یکسان، همگی پیشوندهای مشترک طولانی دارند. برای چنین ترافیکی، کش پیشوند در فاز پیشپرکنیِ هر درخواست صرفهجویی میکند. اگر همهی پرامپتهای شما یکتا و طولانی هستند، پیش از تصمیمگیری دو موتور را روی پرامپتهای خودتان بسنجید.
به هیچ بنچمارک SGLang که نسخهی نرمافزار را ذکر نکرده اعتماد نکنید. پرتکرارترین عبارت در وب، یعنی «SGLang تا 29٪ سریعتر از vLLM»، از یک تست آفلاین میآید که نسخهی SGLang v0.2.3 را آورده است {{field AIMultiple 2026-01}}. بخش 5.3 نشان میدهد تستهای مستقل در چه بخشهایی همنظرند، و اجراهای رو در روی خود ما را هم بررسی میکند.
برای اینکه ببینید اسکژولر، کش و هر گذر رو به جلو چگونه این کار را انجام میدهند، بخشهای 2 تا 4 را بخوانید. از بخش 2.1 شروع کنید که مسیر درخواست را در طول این سه فرایند پی میگیرد.
منابع: capture/out/bench-random-c1.txt، capture/out/generate.txt، capture/out/server-default.log، capture/gpu/out-l4/server-default.log؛ فایلهای python/sglang/benchmark/serving.py و python/sglang/srt/entrypoints/http_server.py در نسخهی v0.5.22؛ گزارش AIMultiple با عنوان "LLM Inference Engines" (https://aimultiple.com/inference-engines، 2026-01-25)، capture/gpu/summary/l4.json (load.default)