این صفحه تمام اصطلاحات بهکاررفته در این راهنما را همراه با اصطلاح معادل آنها در SGLang تعریف میکند.
هر جا در متن بخشها به اصطلاحی برخوردید که معنای آن را نمیدانستید، به این صفحه رجوع کنید.
| اصطلاح | معنی | اصطلاح معادل در SGLang |
|---|---|---|
| سرور API (API server) | فرایندی که به درخواستهای HTTP پاسخ میدهد، متن را به توکن تبدیل میکند و پاسخ را استریم مینماید | مدیر توکنایزر (tokenizer manager) در فرایند اصلی |
| زمانبندی ناهمگام (async scheduling) | برنامهریزی گام بعدی همزمان با اجرای گام فعلی روی GPU | اسکژولر همپوشان (overlap scheduler) |
| بکاند اتنشن (attention backend) | خانوادهی کرنلهایی که محاسبات اتنشن را انجام میدهند | بکاند اتنشن (attention backend) |
| بلوک (block) | دستهای ثابت از 16 توکن در کش کلید-مقدار (KV cache) | یک صفحه (page) با اندازهی پیشفرض 1 |
| استخر بلوکها (block pool) | تمام بلوکهای کش کلید-مقدار که هنگام بالا آمدن سیستم تخصیص داده میشوند | استخر KV (KV pool) |
| پیشپرکنی تکهای (chunked prefill) | خرد کردن یک پرامپت طولانی در چند گام اجرایی | پیشپرکنی تکهای (chunked prefill) |
| کف کلاک (clock floor) | کمترین میانهی کلاک SM که ابزار سوئیپ (sweep) ما برای یک اجرا میپذیرد؛ اگر فرکانس کمتر از آن باشد، اجرا تکرار میشود | اصطلاح خاصی در SGLang ندارد |
| گراف CUDA (CUDA graph) | توالی ثبتشدهای از فراخوانی کرنلها که با یک فراخوانی بازپخش میشود | گراف CUDA (CUDA graph) |
| هستهی موتور (engine core) | فرایندی که اسکژولر و مدیر کش کلید-مقدار را اجرا میکند | فرایند اسکژولر (scheduler process) |
| استخر ثابت (fixed pool) | استخر KV که با پارامتر --num-gpu-blocks-override بهصورت دستی تعیین میکنیم تا دو موتور فضای برابری در اختیار داشته باشند |
اصطلاح خاصی در SGLang ندارد |
| تاخیر بینتوکنی (ITL) | مخفف inter-token latency؛ زمان بین دو توکن در یک استریم | ITL |
| زانو (knee) | نقطهای از همزمانی (concurrency) که در آن خروجی دیگر افزایش نمییابد، ولی تاخیر بهسرعت بالا میرود | اصطلاح خاصی در SGLang ندارد |
| کش کلید-مقدار (KV cache) | کلیدها و مقدارهای توکنهای قبلی که برای گامهای بعدی نگهداری میشوند | کش کلید-مقدار (KV cache) |
| اتصالدهندهی KV (KV connector) | رابطی که بلوکهای KV را در خارج از حافظهی GPU بارگذاری و ذخیره میکند | بکاند انتقال تفکیکشده (disaggregation transfer backend) و فضای ذخیرهسازی HiCache |
| اجراکنندهی مدل نسخهی 2 (Model Runner V2) | کد جدیدتری که دستهها را میسازد و گذر رو به جلو (forward pass) را در ورکر اجرا میکند | اجراکنندهی مدل (model runner) |
| پیشدستی (preemption) | متوقف کردن یک درخواست در حال اجرا برای آزادسازی بلوکهای آن و سپس پردازش دوبارهی آن | پسکشی (retraction) |
| کش پیشوند (prefix caching) | استفادهی مجدد از بلوکهای KV یک پیشوند پرامپت همسان | رادیکس کش (radix cache) |
| پارسر استدلال (reasoning parser) | گزینهای در سرور که بخش استدلال (thinking) یک مدل استدلالی را از متن پاسخ جدا میکند | پارسر استدلال (reasoning parser) |
| گلوگاه فرکانس (throttled) | کار کردن پایینتر از کلاک کامل، به دلیل داغ شدن بیش از حد GPU یا اشتراک توان مصرفی با پردازشهای دیگر | اصطلاح خاصی در SGLang ندارد |
| سهمیهی توکن (token budget) | حداکثر توکنهایی که اسکژولر در یک گام تخصیص میدهد | مجموع اندازهی پیشپرکنی تکهای و سقف درخواستهای در حال اجرا |
| زمان به ازای هر توکن خروجی (TPOT) | مخفف time per output token؛ میانگین زمان صرفشده برای هر توکن خروجی یک درخواست | TPOT |
| زمان تا توکن اول (TTFT) | مخفف time to first token؛ مدتزمان رسیدن نخستین توکن | TTFT |
| امواج (waves) | بار کاری ما شامل 64 پرامپت با 16 کاربر، به همراه نسبت طولی که میزان تنوع طولها را تعیین میکند | اصطلاح خاصی در SGLang ندارد |
| ورکر (worker) | فرایندی که وزنها را برای یک GPU نگهداری میکند | ورکر TP (TP worker) |
منابع: مستندات vLLM نسخهی v0.31.0 (فایلهای docs/design/arch_overview.md و docs/design/prefix_caching.md)، راهنمای SGLang 101 این دوره.