مرجع R.4

واژه‌نامه

Glossary

هر یک از اصطلاحات زیر در سراسر این راهنما دقیقاً یک معنا دارد و نام بخشی که آن را تعریف کرده در جدول آمده است.

همه‌ی اصطلاحات یک بار در بخشی که نام آن در ستون آخر آمده، تعریف شده‌اند. این معانی از کد منبع SGLang در تگ مربوطه، داده‌های ثبت‌شده (captures) و مقالاتی که در این بخش‌ها به آن‌ها ارجاع داده شده، برگرفته شده‌اند.

اصطلاح معنا در این راهنما محل تعریف
طول پذیرش (Acceptance length) تعداد توکن‌های commit‌شده در هر گذر اعتبارسنجی: توکن‌های پیش‌نویسِ پذیرفته‌شده به‌علاوه‌ی یک توکن پاداش 4.4
بک‌اند اتنشن (Attention backend) کلاسی که اتنشن را روی کش کلید-مقدار صفحه‌بندی‌شده (paged KV cache) برای یک دسته محاسبه می‌کند 4.2
موازی‌سازی داده در اتنشن (Attention data parallelism) در یک گروه TP، لایه‌های اتنشن به‌صورت موازی با داده اجرا می‌شوند، در حالی که لایه‌های پیش‌خور یا متخصص بین همه‌ی GPUها تقسیم‌شده باقی می‌مانند 6.1
استقلال از دسته (Batch invariance) یکی از ویژگی‌های کرنل: نتیجه‌ی یک سطر به سطرهای دیگر بستگی ندارد، چون ترتیب تقلیل (reduction) ثابت است 4.6
اتاقک بوت‌استرپ (Bootstrap room) عددی که یک سرور پیش‌پرکنی و یک سرور رمزگشایی برای یافتن نیمه‌ی دیگرِ یک درخواست از آن استفاده می‌کنند 6.3
گراف تفکیک‌پذیر (Breakable graph) کپی ثبت‌شده‌ای که در هر عملیاتِ نیازمند اجرای فوری (eager)، بخش فعلی را می‌بندد، آن عملیات را اجرا می‌کند و بخش بعدی را شروع می‌کند 4.1
باکت ثبت (Capture bucket) یک اندازه‌ی دسته که SGLang در زمان راه‌اندازی، گراف رمزگشایی را برای آن ثبت می‌کند 4.1
هم‌زمانی (بنچمارک) (Concurrency) مجموع تاخیر سرتاسری تمام درخواست‌ها تقسیم بر مدت‌زمان اجرای بنچمارک 5.1
رمزگشایی مقید (Constrained decoding) حذف تمام توکن‌هایی که گرامر را نقض می‌کنند، پیش از آن‌که نمونه‌گیر دست به انتخاب بزند 4.5
شمارنده (Counter) یک مقدار کلی در Prometheus که فقط بالا می‌رود و با یک نرخ در طول یک بازه‌ی زمانی خوانده می‌شود 5.2
گراف CUDA (CUDA graph) ثبتی از فراخوانی‌های کرنل با ابعاد و آدرس‌های ثابت که GPU با یک بار فراخوانیِ CPU آن را بازپخش می‌کند 4.1
موازی‌سازی داده (Data parallelism - DP) چند نسخه‌ی کامل از مدل که هرکدام درخواست‌ها و کش کلید-مقدار اختصاصی خود را دارند 6.1
رمزگشایی (Decode) حلقه‌ای که تک‌تکِ توکن‌های بعدی را تولید می‌کند؛ یک گذر رو به جلو به ازای هر توکن برای هر درخواست 1.3
DetokenizerManager فرایندی که شناسه‌های توکن خروجی را به متن تبدیل می‌کند و آن را به TokenizerManager پس می‌فرستد 2.1
مدل پیش‌نویس (Draft model) یک مدل یا هد کوچک و کم‌هزینه که چند توکن بعدی را پیشنهاد می‌دهد 4.4
EPLB متوازن‌کننده‌ی بار موازی‌سازی متخصصان که میزان استفاده از متخصصان را ثبت و آن‌ها را بین GPUها جابه‌جا می‌کند 6.2
موازی‌سازی متخصصان (Expert parallelism - EP) متخصصانِ هر لایه‌ی MoE بین GPUها تقسیم می‌شوند و توکن‌ها به سمت متخصصان هدایت می‌شوند 6.2
حالت گذر (ForwardMode) برچسبی روی یک دسته که نوع گذرِ اجرایی را به اجراکننده‌ی مدل اعلام می‌کند 4.1
سنجه‌ی متغیر (Gauge) مقداری که اسکژولر در هر بازه‌ی لاگ آن را بازنویسی می‌کند؛ بنابراین در هر بار جمع‌آوری متریک، فقط آخرین مقدار ثبت می‌شود 5.2
بک‌اند GEMM (GEMM backend) کتابخانه‌ی کرنلی که ضرب وزن‌های کوانتیزه‌شده را انجام می‌دهد 4.3
نرخ پردازش موثر (Goodput) تعداد درخواست‌ها در ثانیه‌ای که هم‌زمان به اهداف TTFT و TPOT دست پیدا می‌کنند 1.3
صف گرامر (Grammar queue) فهرست درخواست‌هایی که گرامر آن‌ها هنوز در حال کامپایل است 4.5
اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-query attention) چند هد پرس‌وجو از یک هد کلید و مقدار مشترک استفاده می‌کنند؛ در نتیجه تعداد هدهای کلید-مقدار مدل از هدهای اتنشن کمتر است 3.1
کش سلسله‌مراتبی (HiCache) کش سلسله‌مراتبی که درخت مبنا را از حافظه‌ی GPU به حافظه‌ی میزبان و سپس فضای ذخیره‌سازی گسترش می‌دهد 3.5
هیستوگرام (Histogram) مجموعه‌ای از شمارنده‌ها (یکی به ازای هر باکت) که صدک‌ها را با نرخ مشخص در طول یک بازه‌ی زمانی از آن استخراج می‌کنید 5.2
فاصله‌ی بین توکن‌ها (ITL) فاصله‌ی زمانی بین دریافت هر دو تکه‌ی استریم‌شده که در میان تمام درخواست‌ها محاسبه شده است 5.1
کش کلید-مقدار (KV cache) کلیدها و مقادیر ذخیره‌شده‌ی تمام توکن‌های پیشین برای همه‌ی لایه‌ها، تا در رمزگشایی دوباره محاسبه نشوند 3.1
نوع داده‌ی کش کلید-مقدار (KV cache dtype) فرمت ذخیره‌سازی کلیدها و مقادیرِ کش‌شده 4.3
استخر کلید-مقدار (KV pool) حافظه‌ای که کلیدها و مقادیر تمام توکن‌های نگه‌داری‌شده در سرور را درون خود دارد 1.2
سطوح L1، L2 و L3 (L1, L2, L3) لایه‌های کش سلسله‌مراتبی: استخر GPU، استخری در حافظه‌ی پین‌شده‌ی میزبان (pinned host memory) و یک بک‌اند ذخیره‌سازی اشتراکی و اختیاری 3.5
لاگ‌پاراب (Logprob) لگاریتم احتمال یک توکن بر اساس توزیعی که سرور از آن نمونه‌گیری کرده است 4.6
لایه‌ی مامبا (Mamba layer) یک لایه‌ی فضای حالت (state-space) یا اتنشن خطی که به ازای هر دنباله، یک حالت با اندازه‌ی ثابت نگه می‌دارد 3.6
نرخ تطابق (Match rate) نسبت تعداد کاراکترهای یک درخواست جدید که با درخت درگاه همخوانی دارد به طول کل درخواست 6.4
آزادسازی حافظه (Memory release) فراخوانی POST /release_memory_occupation حافظه‌ی GPU را بر اساس برچسب آزاد می‌کند و POST /resume_memory_occupation آن را برمی‌گرداند 7.2
جهان مدل (Model world) مجموعه‌ای از GPUها که در کنار هم یک کپی کامل از مدل را نگه می‌دارند 6.1
اتنشن چندسر نهفته (Multi-head latent attention - MLA) اتنشن DeepSeek که به جای ذخیره‌ی کلیدها و مقادیر برای هر هد، یک متغیر نهفته‌ی فشرده‌شده را به ازای هر توکن ذخیره می‌کند 3.1
رابط برنامه‌نویسی بومی (Native API) اندپوینت‌های اختصاصی SGLang؛ عمدتاً POST /generate 2.5
نسبت توکن‌های جدید (New token ratio) سهمی از خروجی باقی‌مانده که اسکژولر انتظار دارد یک درخواستِ فعال مصرف کند 2.3
کوانتیزه‌سازی آفلاین (Offline quantization) حالتی که چک‌پوینت از قبل وزن‌های کم‌بیت و ضرایب مقیاس (scales) آن‌ها را در خود دارد 4.3
کوانتیزه‌سازی آنلاین (Online quantization) تبدیل وزن‌های با دقت کامل توسط SGLang در زمان بارگذاری مدل 4.3
رابط برنامه‌نویسی OpenAI (OpenAI API) اندپوینت‌های /v1/chat/completions، /v1/completions و /v1/models در قالب استاندارد OpenAI 2.5
اسکژولینگ همپوشان (Overlap scheduling) اجرای پردازش‌های CPU مربوط به یک دسته هم‌زمان با اجرای پردازش‌های GPU دسته‌ای دیگر 2.4
توقف و ازسرگیری (Pause and resume) فراخوانی POST /pause_generation به همراه یک حالت اجرایی، که حالت پیش‌فرض آن یعنی abort تمام درخواست‌های فعال را متوقف می‌کند 7.2
اوج درخواست‌های هم‌زمان (Peak concurrent requests) بیشترین تعداد درخواست‌های فعال در هر لحظه در طول بازه‌ی یک‌ثانیه‌ایِ اجرای بنچمارک 5.1
موازی‌سازی پایپ‌لاین (Pipeline parallelism - PP) اختصاص لایه‌های کامل مدل به ترتیب به GPUهای مختلف، که --pp-size تعداد مراحل آن را مشخص می‌کند 6.1
پیش‌پرکنی (Prefill) گذر رو به جلو روی کل پرامپت که کلیدها، مقادیر و اولین توکن خروجی را محاسبه می‌کند 1.3
تفکیک پیش‌پرکنی و رمزگشایی (Prefill-decode disaggregation - PD) جداسازی سرورهای SGLang به دو نوع پیش‌پرکنی و رمزگشایی و جابه‌جایی کش کلید-مقدار بین آن‌ها 6.3
RadixCache یک درخت مبنا روی دنباله‌های توکن که گره‌های آن شامل ایندکس جایگاه‌های کلید-مقدار برای توکن‌های روی یال‌هایشان است 3.3
ReqToTokenPool جدولی با یک سطر به ازای هر درخواست در حال اجرا و یک ستون به ازای هر جایگاه توکن 3.1
بازپس‌گیری (Retraction) خارج کردن درخواست‌های در حال اجرا از دسته‌ی رمزگشایی برای خالی کردن جایگاه‌های کلید-مقدار و بازگرداندن آن‌ها به صف 2.3
سیاست اسکژولینگ (Schedule policy) قاعده‌ای که صف انتظار را پیش از پذیرش مرتب می‌کند و با --schedule-policy تنظیم می‌شود 2.2
اسکژولر (Scheduler) فرایند مستقلی که کنترل GPU را در دست دارد، هر دسته را می‌سازد، آن را اجرا می‌کند و به سراغ نمونه‌گیری می‌رود 2.1
حلقه‌ی اسکژولر (Scheduler loop) تابعی که به‌طور پیوسته در فرایند اسکژولر اجرا می‌شود؛ یک دسته به ازای هر نوبت 2.2
اتنشن پنجره‌ی لغزان (Sliding-window attention - SWA) نوعی اتنشن که فقط چند هزار توکن آخر را می‌خواند 3.6
شرط توقف (Stop condition) قانونی که به اجرای یک درخواست پایان می‌دهد: یک توکن توقف، یک رشته‌ی توقف، یک رجکس، محدودیت طول، لغو، یا پایان گرامر 2.5
الگوریتم TLRU (Tail-Optimized LRU - tlru) یک سیاست خروج از کش که فقط بخشی از گفت‌وگو را که برای هدف تاخیر نوبت بعدی نیاز است نگه می‌دارد 3.5
موازی‌سازی تنسور (Tensor parallelism - TP) تقسیم ماتریس‌های وزن هر لایه به --tp-size بخش؛ یک بخش به ازای هر GPU 6.1
نرخ پردازش (Throughput) تعداد توکن‌های خروجی در ثانیه در میان تمام کاربران 1.3
TokenizerManager آبجکتی در فرایند اصلی که هر درخواست را تحویل می‌گیرد، الگوی چت را اعمال می‌کند و پرامپت را توکنایز می‌نماید 2.1
TokenToKVPoolAllocator فهرست جایگاه‌های آزادِ کلید-مقدار 3.1
زمان به ازای هر توکن خروجی (TPOT) زمان سپری‌شده پس از تولید اولین توکن تقسیم بر توکن‌های خروجیِ باقی‌مانده برای هر درخواست 5.1
گره درخت (TreeNode) گره‌ای از درخت مبنا، همراه با فرزندانی که با اولین توکن خود کلید خورده‌اند و توالی توکن‌های روی یال آن 3.3
زمان تا اولین توکن (TTFT) زمان سپری‌شده از لحظه‌ی ارسال درخواست تا دریافت اولین تکه‌ی استریم‌شده 5.1
همپوشانی دو دسته (Two-batch overlap - TBO) تقسیم یک دسته به دو میکروبچ توسط اسکژولر، تا یکی لایه‌های اتنشن را اجرا کند در حالی که دیگری منتظر ارتباطات شبکه است 6.2
گذر اعتبارسنجی (Verify pass) یک گذر رو به جلو توسط مدل هدف روی تمام توکن‌های پیشنهادی، که طولانی‌ترین پیشوند منطبق را می‌پذیرد و یک توکن اضافه می‌کند 4.4
کوانتیزه‌سازی وزن‌ها (Weight quantization) ذخیره‌ی وزن‌های مدل با بیت‌های کمتر، مثلاً FP8، FP4 یا INT4 4.3
نشست به‌روزرسانی وزن‌ها (Weight-update session) فراخوانی begin_weight_update، سپس یک یا چند فراخوانی *update_weights_from_ و در پایان اجرای end_weight_update 7.2

منابع: تعاریف اصطلاحات در تمام فایل‌های زیرمجموعه‌ی sections/ و front.md.

ترجمه‌ی فارسی Glossary از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما