بخش 1.3 · شروع

سرور با درخواست شما چه می‌کند؟

What the server does with your request

فهرست مطالب
  1. دو فاز با دو هزینه‌ی متفاوت
  2. چهار عدد
  3. قلمرو SGLang و مرزهای آن
  4. مسیر یک درخواست
  5. موضع ما

هر درخواست دو فاز با هزینه‌های متفاوت دارد؛ و چهار عدد نشان می‌دهند که سرور چگونه این فازها را برای همه‌ی کاربرانش مدیریت می‌کند.

در بخش 1.1 دو درخواست فرستادید و هر دو زیر یک ثانیه برگشتند. اما با ده کاربر، همین سرور ممکن است بعضی از آن‌ها را چند ثانیه منتظر اولین کلمه نگه دارد. دلیل این موضوع در دو فاز هر درخواست نهفته است.

پس از پایان این بخش، می‌توانید نام این دو فاز و چهار عددی را که کارایی سرور با آن‌ها سنجیده می‌شود بگویید. همچنین متوجه می‌شوید چه چیزهایی در کنترل SGLang است و چه چیزهایی به مدل و به شما مربوط می‌شود.

دو فاز با دو هزینه‌ی متفاوت

پیش‌پرکنی (prefill): گذر رو به جلو (forward pass) روی کل پرامپت (prompt) است. این فاز کلیدها و مقدارهای همه‌ی توکن‌های پرامپت را در یک دسته (batch) محاسبه می‌کند و اولین توکن خروجی را به دست می‌دهد. رمزگشایی (decode): حلقه‌ای است که توکن‌های بعدی را تولید می‌کند؛ یعنی یک گذر رو به جلو به ازای هر توکن در هر درخواست.

این دو فاز به شیوه‌های متفاوتی از GPU استفاده می‌کنند. پیش‌پرکنی در هر گذر توکن‌های زیادی دارد، بنابراین واحدهای محاسباتی را کاملاً درگیر نگه می‌دارد. در مقابل، رمزگشایی در هر گذر تنها یک توکن جدید به ازای هر درخواست دارد.

هر گام رمزگشایی، وزن‌های مورد نیاز همان گام و همچنین کلیدها و مقدارهای کش‌شده را می‌خواند تا محاسبات اندکی انجام دهد. در یک مدل متراکم (dense)، این یعنی خواندن تک‌تک وزن‌ها. در مدل ترکیبی از متخصصان (mixture-of-experts یا MoE)، شامل وزن‌های مشترک و متخصصانی است که مسیریاب (router) انتخاب کرده است. پهنای باند حافظه سرعت رمزگشایی را تعیین می‌کند و توان محاسباتی، سرعت پیش‌پرکنی را.

ما این تفاوت را روی یک Mac با مدلی 0.6B اندازه گرفتیم. برای پرامپتی با 512 توکن، میانه‌ی رسیدن به اولین توکن 163 میلی‌ثانیه بود. پس از آن، هر توکن جدید به‌طور میانگین 4.38 میلی‌ثانیه طول کشید.

یک درخواست در هر لحظه، 512 توکن ورودی و 128 توکن خروجی capture/out/bench-random-c1.txt
Max request concurrency:                 1         
Successful requests:                     16        
…
Median TTFT (ms):                        162.98    
…
Mean TPOT (ms):                          4.38      

برش‌خورده از خلاصه بنچ‌مارک. صدک‌های تاخیر به جز میانه و بلوک بین‌توکنی حذف شده‌اند.

این یعنی در بیشترین حالت حدود 0.32 میلی‌ثانیه به ازای هر توکن پرامپت در مقایسه با 4.38 میلی‌ثانیه برای هر توکن خروجی؛ یعنی اختلافی با ضریب حدود 14 روی این Mac. این 0.32 میلی‌ثانیه یک حد بالا (Upper Bound) است، چون تاخیر تا اولین توکن (Time to First Token یا TTFT) زمان صف و اولین گام رمزگشایی را هم در خود دارد. روی پردازنده‌ی L4 ما با مدل Qwen3-8B این ضریب به حدود 160 رسید: 189 میلی‌ثانیه برای پرامپت 512 توکنی، در برابر 60 میلی‌ثانیه برای هر توکن خروجی. یک موتور سرویس‌دهی می‌تواند کارهای پیش‌پرکنی را به اشتراک بگذارد یا از آن‌ها صرف‌نظر کند. کار اصلی آن دسته‌بندی کارهای رمزگشایی است، تا با یک بار خواندن وزن‌ها به درخواست‌های متعددی پاسخ دهد. بخش 4.4 روش دیگری را برای کاهش گام‌های رمزگشایی نشان می‌دهد.

مقایسه پیش‌پرکنی در برابر رمزگشایی روی مک ثبت‌شدهمیانه TTFT تقسیم بر طول پرامپت حدود 0.32 میلی‌ثانیه به ازای هر توکن پرامپت است، و هر توکن خروجی در رمزگشایی 4.38 میلی‌ثانیه هزینه دارد.
پیش‌پرکنی در برابر رمزگشایی روی مک ثبت‌شده دو ستون از یک اجرای بنچ‌مارک با یک درخواست در هر لحظه. در سمت چپ، پیش‌پرکنی یک گذر رو به جلو روی 512 توکن پرامپت اجرا می‌کند، 512 مدخل KV می‌نویسد و اولین توکن را بعد از میانه 162.98 میلی‌ثانیه بازمی‌گرداند؛ یعنی حدود 0.32 میلی‌ثانیه به ازای هر توکن پرامپت. در سمت راست، رمزگشایی یک گذر رو به جلو برای هر یک از 127 توکن بعدی اجرا می‌کند، هر بار تمام وزن‌ها و ورودی‌های کش‌شده‌ی KV را می‌خواند و به طور میانگین 4.38 میلی‌ثانیه به ازای هر توکن زمان می‌برد. پیش‌پرکنی · کل پرامپت یکباره رمزگشایی · یک توکن در هر گذر 512 شناسه توکن پرامپت دیتاست تصادفی، seed 7 یک گذر رو به جلو 512 توکن در یک دسته ضرب ماتریسی 512 مدخل KV نوشته شد نگه‌داری برای گام‌های بعد میانه TTFT برابر 162.98 ms حدود 0.32 میلی‌ثانیه برای هر توکن پرامپت 1 توکن جدید در هر درخواست آخرین توکن تولیدشده رمزگشایی یک گذر رو به جلو خواندن کل وزن‌ها برای 1 توکن خواندن 512 + n مدخل KV و نوشتن یک مدخل دیگر میانگین TPOT: 4.38 ms تکرار برای هر کدام از 127 توکن بعدی Qwen3-0.6B-4bit · SGLang 0.5.22 on MLX
از چپ به راست بخوانید. هر دو ستون از یک اجرای بنچ‌مارک با یک درخواست در هر لحظه به دست آمده‌اند. برگرفته از capture/out/bench-random-c1.txt.

چهار عدد

عملکرد یک سرور را با بررسی هم‌زمان چهار عدد بسنجید. گزارشی که فقط یکی از آن‌ها را ارائه دهد، اطلاعات چندانی به شما نمی‌دهد.

  • تاخیر تا اولین توکن (TTFT): مدت‌زمانی که کاربر پیش از دیدن اولین کلمه منتظر می‌ماند. فاز پیش‌پرکنی و صف این عدد را تعیین می‌کنند.
  • زمان به ازای هر توکن خروجی (Time Per Output Token یا TPOT): میانگین فاصله‌ی بین توکن‌ها پس از اولین توکن. تاخیر بین‌توکنی (Inter-token Latency یا ITL) همین فاصله است که توکن‌به‌توکن اندازه گرفته می‌شود؛ در نتیجه دنباله‌ی توزیع آن (tail) وقفه‌ها و گیرها را نشان می‌دهد. فاز رمزگشایی هر دوی این‌ها را تعیین می‌کند.
  • نرخ پردازش (Throughput): تعداد توکن‌های خروجی در ثانیه در کل کاربران. دسته‌بندی این متغیر را مشخص می‌کند.
  • نرخ پردازش موثر (Goodput): تعداد درخواست‌هایی در ثانیه که هم‌زمان به هدف TTFT و هدف TPOT می‌رسند. کاربران شما این عدد را حس می‌کنند.

سه معیار اول با هم بده‌بستان دارند. یک دسته‌ی بزرگ‌تر نرخ پردازش را بالا می‌برد و توکن‌های هر کاربر را کُندتر می‌کند. یک تکه‌ی بزرگ در پیش‌پرکنی، پرامپت طولانی را زودتر تمام می‌کند و در حین اجرا، تمام رمزگشایی‌های داخل دسته را متوقف نگه می‌دارد. بخش 5.1 این بده‌بستان را در یک ارزیابی واقعی نشان می‌دهد.

ابزار بنچمارک SGLang مقادیر TTFT، TPOT، ITL و نرخ پردازش را چاپ می‌کند. این ابزار در نسخه‌ی 0.5.22 نرخ پردازش موثر را چاپ نمی‌کند، بنابراین باید آن را از لاگ‌های هر درخواست به دست آورید. درس معیارهای استنتاج این محاسبه را قدم‌به‌قدم پیاده می‌کند.

قلمرو SGLang و مرزهای آن

مدیریت زمانِ بین درخواست و توکن‌های آن در اختیار SGLang است. این ابزار تصمیم می‌گیرد کدام توکن‌های پرامپت محاسبه شوند، از کدام‌ها دوباره استفاده شود، و هر درخواست چه زمانی اجرا گردد.

آنچه SGLang در اختیار داردمسئولیت توکن‌سازی، زمان‌بندی، کش KV و گذر رو به جلو با SGLang است، در حالی که کیفیت، حافظه و مسیریابی به مدل و اپراتور تعلق دارد.
آنچه SGLang در اختیار دارد پشته‌ای از نه لایه از کلاینت در بالا تا سخت‌افزار در پایین. SGLang مالک مدیریت توکن‌ساز، اسکژولر، مخزن KV همراه با کش رادیکس آن، گذر رو به جلو و دی‌توکنایزر است. درگاه مدل (Model Gateway) مولفه‌ای مجزاست. وزن‌های مدل کیفیت پاسخ را تعیین می‌کنند و اپراتور بودجه حافظه را مشخص می‌سازد. لایه مالک client curl، SDK اوپن‌ای‌آی، sglang.benchmark.serving شما sgl-model-gateway مسیریابی بین سرورها، بخش 6.4 مجزا TokenizerManager HTTP و OpenAI API، متن به توکن SGLang اسکژولر دسته‌ها، پذیرش، پس‌زدن، همپوشانی SGLang مخزن KV و UnifiedRadixCache 181,574 جایگاه، پیشوندهای کش‌شده SGLang گذر رو به جلو بک‌اند اتنشن، CUDA graphs، MLX در مک SGLang DetokenizerManager توکن به متن، رشته‌های توقف، استریم SGLang وزن‌های مدل mlx-community/Qwen3-0.6B-4bit، کیفیت پاسخ مدل بودجه حافظه و سخت‌افزار mem-fraction-static--، سایر برنامه‌ها اپراتور
از بالا به پایین بخوانید، از کلاینت تا وزن‌ها. لایه‌های خاکستری خارج از SGLang هستند. برگرفته از سورس v0.5.22 و فایل capture/out/server-default.log.

سه چیز بیرون از این محدوده می‌ماند. این مدل است که تصمیم می‌گیرد پاسخ چه باشد. روی Mac ما، وقتی از مدلی 0.6B خواستیم نام یک سیاره را بگوید، پاسخ داد «Ardens»؛ که اصلاً سیاره نیست. SGLang این پاسخ را درست و سریع تحویل داد، و هیچ موتور سرویس‌دهی نمی‌تواند مدل را به پاسخ درست وادارد.

شما، در نقش گرداننده‌ی سیستم (operator)، تصمیم می‌گیرید چه مقدار حافظه به SGLang اختصاص یابد و درخواست به کدام ماشین برود. SGLang برای کار دوم یک مسیریاب جداگانه دارد که بخش 6.4 آن را پوشش می‌دهد.

مسیر یک درخواست

درون SGLang، درخواست /generate شما از سه فرایند (Process) گذشت. واحد مدیریت توکنایزر متن را به شناسه‌های توکن تبدیل کرد. اسکژولر (Scheduler) دو تا از پنج توکن پرامپت را در کش پیدا کرد و سه تای دیگر را محاسبه کرد. دی‌توکنایزر شناسه‌های توکن جدید را به متن برگرداند.

اسکژولر بخش مربوط به خود از این درخواست را در قالب یک خط ثبت کرد:

دیدگاه اسکژولر نسبت به درخواست روی L4 ما capture/gpu/out-l4/server-default.log
[2026-10-17 14:43:41] Prefill batch, #new-seq: 1, #new-token: 3, #cached-token: 2, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 2.82
[2026-10-17 14:43:41] INFO:     127.0.0.1:58314 - "POST /generate HTTP/1.1" 200 OK

خط پیش‌پرکنی و خط پاسخ درخواست generate/ از بخش 1.1.

مجموع #new-token: 3 و #cached-token: 2 به همان پنج توکن پرامپت می‌رسد. این جفت، مفیدترین خطی است که SGLang چاپ می‌کند. بخش 3.4 تنها با استفاده از همین خط، پرامپتی را پیدا می‌کند که در کش پیدا نشده است.

یک درخواست generate/ در میان سه فرایندمدیر توکن‌ساز، اسکژولر و دی‌توکنایزر هر کدام یک بار با درخواست تعامل داشتند و مرحله پیش‌پرکنی 3 توکن از 5 توکن را محاسبه کرد.
یک درخواست generate/ در میان سه فرایند چهار خط زمانی: کلاینت، مدیر توکن‌ساز، اسکژولر و دی‌توکنایزر. کلاینت یک پرامپت پنج توکنی ارسال می‌کند. مدیر توکن‌ساز شناسه‌های توکن را از طریق ZMQ به اسکژولر می‌فرستد. اسکژولر دو توکن کش‌شده را در کش رادیکس مطابقت می‌دهد، سه توکن را پیش‌پرکنی می‌کند و اولین توکن را بعد از 68 میلی‌ثانیه بازمی‌گرداند. سپس یازده گام رمزگشایی انجام شده و دی‌توکنایزر متن را برمی‌گرداند که در کل 725 میلی‌ثانیه زمان می‌برد. client TokenizerManager Scheduler Detokenizer 1 POST /generate The capital of France is 2 5 شناسه توکن یک پیام ZMQ 3 match_prefix 2 توکن کش‌شده 4 پیش‌پرکنی 3 توکن جدید 5 توکن اول 68 میلی‌ثانیه پس از درخواست 6 11 توکن دیگر گام‌های رمزگشایی، 657 ms 7 متن Paris. The capital of Italy is 8 200 OK e2e_latency 0.725 s
از بالا به پایین بخوانید. اعداد از درخواست L4 ما در بخش 1.1 هستند. برگرفته از capture/gpu/out-l4/generate.txt و capture/gpu/out-l4/server-default.log.

موضع ما

SGLang را بر اساس الگوی ترافیک کاری خود انتخاب کنید، نه هیچ‌وقت بر مبنای عددی که در تیترها می‌آید. ایجنت‌ها (Agent)، چت با پرامپت سیستمی ثابت، و بازیابی (Retrieval) با پیش‌درآمد یکسان، همگی پیشوندهای مشترک طولانی دارند. برای چنین ترافیکی، کش پیشوند در فاز پیش‌پرکنیِ هر درخواست صرفه‌جویی می‌کند. اگر همه‌ی پرامپت‌های شما یکتا و طولانی هستند، پیش از تصمیم‌گیری دو موتور را روی پرامپت‌های خودتان بسنجید.

به هیچ بنچمارک SGLang که نسخه‌ی نرم‌افزار را ذکر نکرده اعتماد نکنید. پرتکرارترین عبارت در وب، یعنی «SGLang تا 29٪ سریع‌تر از vLLM»، از یک تست آفلاین می‌آید که نسخه‌ی SGLang v0.2.3 را آورده است {{field AIMultiple 2026-01}}. بخش 5.3 نشان می‌دهد تست‌های مستقل در چه بخش‌هایی هم‌نظرند، و اجراهای رو در روی خود ما را هم بررسی می‌کند.

برای اینکه ببینید اسکژولر، کش و هر گذر رو به جلو چگونه این کار را انجام می‌دهند، بخش‌های 2 تا 4 را بخوانید. از بخش 2.1 شروع کنید که مسیر درخواست را در طول این سه فرایند پی می‌گیرد.

منابع: capture/out/bench-random-c1.txt، capture/out/generate.txt، capture/out/server-default.log، capture/gpu/out-l4/server-default.log؛ فایل‌های python/sglang/benchmark/serving.py و python/sglang/srt/entrypoints/http_server.py در نسخه‌ی v0.5.22؛ گزارش AIMultiple با عنوان "LLM Inference Engines" (https://aimultiple.com/inference-engines، 2026-01-25)، capture/gpu/summary/l4.json (load.default)

ترجمه‌ی فارسی What the server does with your request از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما