مرجع R.5

واژه‌نامه

Glossary

این صفحه تمام اصطلاحات به‌کاررفته در این راهنما را همراه با اصطلاح معادل آن‌ها در SGLang تعریف می‌کند.

هر جا در متن بخش‌ها به اصطلاحی برخوردید که معنای آن را نمی‌دانستید، به این صفحه رجوع کنید.

اصطلاح معنی اصطلاح معادل در SGLang
سرور API (API server) فرایندی که به درخواست‌های HTTP پاسخ می‌دهد، متن را به توکن تبدیل می‌کند و پاسخ را استریم می‌نماید مدیر توکنایزر (tokenizer manager) در فرایند اصلی
زمان‌بندی ناهمگام (async scheduling) برنامه‌ریزی گام بعدی هم‌زمان با اجرای گام فعلی روی GPU اسکژولر همپوشان (overlap scheduler)
بک‌اند اتنشن (attention backend) خانواده‌ی کرنل‌هایی که محاسبات اتنشن را انجام می‌دهند بک‌اند اتنشن (attention backend)
بلوک (block) دسته‌ای ثابت از 16 توکن در کش کلید-مقدار (KV cache) یک صفحه (page) با اندازه‌ی پیش‌فرض 1
استخر بلوک‌ها (block pool) تمام بلوک‌های کش کلید-مقدار که هنگام بالا آمدن سیستم تخصیص داده می‌شوند استخر KV (KV pool)
پیش‌پرکنی تکه‌ای (chunked prefill) خرد کردن یک پرامپت طولانی در چند گام اجرایی پیش‌پرکنی تکه‌ای (chunked prefill)
کف کلاک (clock floor) کمترین میانه‌ی کلاک SM که ابزار سوئیپ (sweep) ما برای یک اجرا می‌پذیرد؛ اگر فرکانس کمتر از آن باشد، اجرا تکرار می‌شود اصطلاح خاصی در SGLang ندارد
گراف CUDA (CUDA graph) توالی ثبت‌شده‌ای از فراخوانی کرنل‌ها که با یک فراخوانی بازپخش می‌شود گراف CUDA (CUDA graph)
هسته‌ی موتور (engine core) فرایندی که اسکژولر و مدیر کش کلید-مقدار را اجرا می‌کند فرایند اسکژولر (scheduler process)
استخر ثابت (fixed pool) استخر KV که با پارامتر --num-gpu-blocks-override به‌صورت دستی تعیین می‌کنیم تا دو موتور فضای برابری در اختیار داشته باشند اصطلاح خاصی در SGLang ندارد
تاخیر بین‌توکنی (ITL) مخفف inter-token latency؛ زمان بین دو توکن در یک استریم ITL
زانو (knee) نقطه‌ای از هم‌زمانی (concurrency) که در آن خروجی دیگر افزایش نمی‌یابد، ولی تاخیر به‌سرعت بالا می‌رود اصطلاح خاصی در SGLang ندارد
کش کلید-مقدار (KV cache) کلیدها و مقدارهای توکن‌های قبلی که برای گام‌های بعدی نگهداری می‌شوند کش کلید-مقدار (KV cache)
اتصال‌دهنده‌ی KV (KV connector) رابطی که بلوک‌های KV را در خارج از حافظه‌ی GPU بارگذاری و ذخیره می‌کند بک‌اند انتقال تفکیک‌شده (disaggregation transfer backend) و فضای ذخیره‌سازی HiCache
اجراکننده‌ی مدل نسخه‌ی 2 (Model Runner V2) کد جدیدتری که دسته‌ها را می‌سازد و گذر رو به جلو (forward pass) را در ورکر اجرا می‌کند اجراکننده‌ی مدل (model runner)
پیش‌دستی (preemption) متوقف کردن یک درخواست در حال اجرا برای آزادسازی بلوک‌های آن و سپس پردازش دوباره‌ی آن پس‌کشی (retraction)
کش پیشوند (prefix caching) استفاده‌ی مجدد از بلوک‌های KV یک پیشوند پرامپت همسان رادیکس کش (radix cache)
پارسر استدلال (reasoning parser) گزینه‌ای در سرور که بخش استدلال (thinking) یک مدل استدلالی را از متن پاسخ جدا می‌کند پارسر استدلال (reasoning parser)
گلوگاه فرکانس (throttled) کار کردن پایین‌تر از کلاک کامل، به دلیل داغ شدن بیش از حد GPU یا اشتراک توان مصرفی با پردازش‌های دیگر اصطلاح خاصی در SGLang ندارد
سهمیه‌ی توکن (token budget) حداکثر توکن‌هایی که اسکژولر در یک گام تخصیص می‌دهد مجموع اندازه‌ی پیش‌پرکنی تکه‌ای و سقف درخواست‌های در حال اجرا
زمان به ازای هر توکن خروجی (TPOT) مخفف time per output token؛ میانگین زمان صرف‌شده برای هر توکن خروجی یک درخواست TPOT
زمان تا توکن اول (TTFT) مخفف time to first token؛ مدت‌زمان رسیدن نخستین توکن TTFT
امواج (waves) بار کاری ما شامل 64 پرامپت با 16 کاربر، به همراه نسبت طولی که میزان تنوع طول‌ها را تعیین می‌کند اصطلاح خاصی در SGLang ندارد
ورکر (worker) فرایندی که وزن‌ها را برای یک GPU نگهداری می‌کند ورکر TP (TP worker)

منابع: مستندات vLLM نسخه‌ی v0.31.0 (فایل‌های docs/design/arch_overview.md و docs/design/prefix_caching.md)، راهنمای SGLang 101 این دوره.

ترجمه‌ی فارسی Glossary از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما