مرجع R.5

منابع

Sources

فهرست مطالب
  1. منابع رتبه‌بندی‌شده
  2. رتبه‌ی 1 و رتبه‌ی 2: کد و اجراهای ثبت‌شده
  3. رتبه‌ی 3: پول‌ریکوئست‌ها
  4. رتبه‌ی 4: مقاله‌ها
  5. رتبه‌ی 5: مستندات SGLang در این تگ
  6. رتبه‌ی 6: گزارش‌های میدانی مستقل
  7. رتبه‌ی 7: گزارش‌های تیم SGLang و ارائه‌دهندگان

این راهنما منابع خود را بر اساس میزان اعتبار رتبه‌بندی می‌کند. در این صفحه تمام منابع بیرونیِ مورد استناد در بخش‌های مختلف، به همراه بخش‌هایی که از هر منبع استفاده کرده‌اند، فهرست شده است.

این رتبه‌ها با نحوه‌ی تدوین این راهنما مطابقت دارند. در صورت بروز اختلاف میان دو منبع، اولویت با منبع رتبه‌بالاتر است و در متن همان بخش نیز به این موضوع اشاره می‌شود. فایل‌های سورس SGLang که در هر بخش استفاده شده‌اند، در سورس خود راهنما ثبت شده‌اند و در فرایند بازبینی بررسی می‌شوند؛ بنابراین در این صفحه دوباره فهرست نشده‌اند. تمامی صفحات زیر در تاریخ 2026-10-16 بررسی شده‌اند. مقاله‌ها و گزارش‌هایی هم که برای به‌روزرسانی پژوهشی افزوده شدند، در تاریخ 2026-10-22 مطالعه شده‌اند.

منابع رتبه‌بندی‌شده

رتبه منبع مواردی که راهنما از آن می‌گیرد کلید ارجاع منبع
1 سورس SGLang در تگ baa9befa تمامی پیش‌فرض‌ها و سازوکارها فایل‌های سورس هر بخش، در سورس راهنما
2 اجراهای ثبت‌شده روی Mac و روی پردازنده‌های گرافیکی تمامی لیستینگ‌ها و اعدادی که به‌عنوان داده‌های اندازه‌گیری‌شده مشخص شده‌اند نام فایلِ ثبت اجرا
3 ایشوها و پول‌ریکوئست‌های SGLang رخدادها و تاریخچه‌ی طراحی قابلیت‌ها issue و شماره‌ی آن
4 مقاله‌ها طراحی اولیه‌ی توجه رادیکس (RadixAttention) و روش‌هایی که SGLang پیاده‌سازی می‌کند paper و عنوان مقاله
5 مستندات SGLang در این تگ رفتارهای مستندشده، تطبیق‌داده‌شده با کد docs و سرفصل مربوطه
6 گزارش‌های میدانی مستقل GPUها و مقیاس‌هایی که امکان اجرای آن‌ها در این راهنما وجود نداشت field، نویسنده و ماه
7 گزارش‌های تیم SGLang و ارائه‌دهندگان سخت‌افزار ادعاها؛ که همواره با ذکر نام نویسنده مشخص شده‌اند team یا نام ارائه‌دهنده، و ماه

رتبه‌ی 1 و رتبه‌ی 2: کد و اجراهای ثبت‌شده

منبع استفاده‌شده در
SGLang 0.5.22، تگ v0.5.22، کامیت baa9befa381511cd4d56f83980951e5a45fffc6d، github.com/sgl-project/sglang تمامی بخش‌ها
Miles 0.1.2، تگ v0.1.2، کامیت a22fd824، github.com/radixark/miles 7.2
مجموعه‌ابزار ثبت اجرا و خروجی‌های آن روی Mac، ثبت‌شده در تاریخ 2026-10-16 تمامی بخش‌های دارای لیستینگ
مجموعه‌ابزار GPU و اجراهای ثبت‌شده‌ی آن، ثبت‌شده از 2026-10-16 تا 2026-10-21 روی یک نود NVIDIA L4 و یک سرور DGX Spark (GB10) تمامی بخش‌های دارای داده‌های اندازه‌گیری‌شده‌ی GPU
ایمیج Miles با شناسه‌ی radixark/miles:latest در کامیت 08752a12 از Miles، به همراه SGLang 0.5.22.dev46+g7b6993a 7.2

رتبه‌ی 3: پول‌ریکوئست‌ها

ایشوها در فهرست رخدادها آمده‌اند. پول‌ریکوئست‌های زیر دلایل و جزئیات تغییرات طراحی را توضیح می‌دهند.

پول‌ریکوئست تغییرات اعمال‌شده استفاده‌شده در
#9241 گرم‌کردن اولیه (warm-up) و به دنبال آن مسدودسازی زباله‌روب (garbage collector) 1.2
#11210 همپوشانی با دو استریم CUDA درون یک ترد 2.4
#14312 تغییر نام sgl-router به sgl-model-gateway 6.4
#23906 انتقال فیلد گراف پیش‌پرکنی (prefill) به پیکربندی تفکیک‌شده‌ی هر فاز 4.1
#29458 گراف‌های پیش‌پرکنی تقسیم‌پذیر (breakable) در CUDA 4.1
#32114 حذف Cutlass MLA، الگوریتم Dual Chunk FlashAttention و کرنل استاندارد GPTQ CUDA 4.2، 4.3
#37898 افزایش سقف گراف رمزگشایی (decode) از 24 به 48 برای کارت‌های گرافیک 20 تا 35 گیگابایتی 4.1
#35455 بارگذاری مقیاس‌های کلید-مقدار در چک‌پوینت‌های compressed-tensors؛ merge در تاریخ 2026-08-20 4.3
#40795 حذف نام‌های مستعار قدیمی بنچمارک 5.1
#41818 اضافه‌شدن --attn-dp-size و اختصاص یک معنای مشخص به --dp-size 6.1
#42285، #42286، #42287 حذف مسیر torch.compile برای گراف‌های پیش‌پرکنی 4.1

رتبه‌ی 4: مقاله‌ها

مقاله استفاده‌شده در
Zheng and others, SGLang: Efficient Execution of Structured Language Model Programs, arXiv 2312.07104 2.2، 3.1، 3.3، 4.5
سیاست LRU بهینه‌سازی‌شده برای انتهای صف بر اساس نام‌گذاری کد، arXiv 2510.15152 3.5
Lee and others, From Tokens to Layers: Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill, arXiv 2510.08055 2.2
Liu, Yu, and Yang, When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse, arXiv 2609.28870 3.5
Abramovich and others, SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding, arXiv 2604.09557 4.4، 6.2
Kumar, Sanghavi, and Das, Test-Time Speculation, arXiv 2605.09329 4.4
Agrawal and others, On Evaluating Performance of LLM Inference Serving Systems, arXiv 2507.09019 4.4
Zhao and others, CoRun: Padding is Simple and Efficient for Deterministic LLM Inference, arXiv 2608.14376 4.6
Qin and others, Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference, arXiv 2609.38981 4.6
Patodiya, Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving, arXiv 2609.04748 4.6
Chandrasekar and Kramberger, Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks, arXiv 2605.24217 5.1
Li and others, Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications, arXiv 2601.08833 6.3

رتبه‌ی 5: مستندات SGLang در این تگ

صفحه استفاده‌شده در
docs/docs/hardware-platforms/apple_metal.mdx پیش‌گفتار، 2.1، 2.4
docs/docs/advanced_features/hyperparameter_tuning.mdx 2.3
docs/docs/advanced_features/hicache_design.mdx و radix_eviction_policy.mdx 3.5
docs/docs/advanced_features/attention_backend.mdx 4.2
docs/docs/advanced_features/quantization.mdx 4.3
docs/docs/advanced_features/speculative_decoding.mdx 4.4
docs/docs/advanced_features/expert_parallelism.mdx 6.2
docs/docs/advanced_features/pd_disaggregation.mdx 6.3
docs/docs/get-started/install.mdx 7.1
docs/docs/advanced_features/sglang_for_rl.mdx 7.2

رتبه‌ی 6: گزارش‌های میدانی مستقل

نویسنده گزارش ماه استفاده‌شده در
AIMultiple Inference engines benchmark 2026-01، پاسخ در 2026-10 1.3، 5.3
Alibaba Cloud، تیم‌های RBG و Mooncake A production inference platform with SGLang RBG and Mooncake 2026-03 3.5
Ant Group DeepSeek-R1 on H20 with SGLang, on the LMSYS blog 2025-09 4.4، 6.1، 6.2، 7.1
basbunarhasan در فروم توسعه‌دهندگان NVIDIA SGLang with NVFP4 and DSpark on a DGX Spark 2026-08 3.2
CERIT-SC Running LLMs at CERIT-SC و یک پست بعدی 2025-10، 2026-04 7.1
Cloudflare Smaller, faster, safer models 2026-08 3.1، 4.3
Crusoe MLPerf Inference v6.1 results on AMD MI355X 2026-09 5.3، 6.2
David Noel Ng GH200 benchmarking, part 4 2026-08 4.4
DeepInfra vLLM vs SGLang 2026-08 5.3
Doubleword Fast SGLang starts 2026-04 7.1
dstack Benchmarking prefill-decode ratios 2025-09 6.3
Hazy Research Tensor-parallel Llama megakernel 2025-09 4.1
InferenceX از SemiAnalysis GLM-5 FP8 on MI355X، DeepSeek-V4-Pro on MI355X in 26 days و GLM-5 NVFP4 on B200 2026-05 4.1، 5.3
Jarvislabs SGLang vs vLLM on H100 2026-05 4.1، 5.3
Jarvislabs Managed endpoints 2026-08 3.4، 6.4
joshua8.ai LLM inference benchmark 2026-01 4.1، 4.3، 5.3
مهندسی LinkedIn Scaling LLM-based ranking systems with SGLang at LinkedIn 2026-02 1.2، 2.1، 7.1
Luca Lowndes SGLang optimisations 2025-11 6.1
Modal LLM almanac 2025-06 5.3
Novita AI SGLang with GLM MoE models, on Hugging Face 2026-01 6.3
Pivot News A summary of a mixed Blackwell benchmark 2026-05 4.3، 5.3
RunPod When to choose SGLang over vLLM 2025-06 3.3، 5.3
SemiAnalysis InferenceMAX 2025-10 5.3
Spheron vLLM vs TensorRT-LLM vs SGLang 2026 5.3
Steve Rawlinson vLLM vs SGLang on dual H100 2025-12 3.2، 5.3
Thinking Machines Defeating nondeterminism in LLM inference 2025-09 4.6
Varad More Inference engine benchmark system 2026-04 3.3، 4.2، 4.5، 5.3
جامعه‌ی vLLM Discussion #17221 2025-04 5.3

رتبه‌ی 7: گزارش‌های تیم SGLang و ارائه‌دهندگان

نویسنده گزارش ماه استفاده‌شده در
تیم vLLM The state of FP8 KV cache and attention quantization in vLLM 2026-04 4.3
LMSYS SGLang with Llama 3 2024-07 5.3
LMSYS SGLang v0.4: zero-overhead batch scheduler 2024-12 2.4، 6.1، 6.4
LMSYS DeepSeek with PD disaggregation and large-scale EP on 96 H100 GPUs 2025-05 6.2، 6.3
تیم Mooncake در بلاگ LMSYS Kimi K2 with large-scale EP 2025-07 6.3
LMSYS SGLang HiCache 2025-09 3.5
SGLang v0.5.21 release notes 2026-10 3.5
Google Cloud EAGLE-3 on Vertex AI 2025-11 4.4
Modal به همراه Decagon Decagon case study 2025-11 4.4
LMSYS و RadixArk Miles 2025-11 7.2
RadixArk Miles v0.1 2026-08 7.2
تیم Miles docs/advanced/p2p-weight-transfer.md در Miles v0.1.2 2026-10 7.2

منابع: front.md؛ خط Sources و ارجاعات تمامی فایل‌های زیرِ پوشه‌ی sections/.

ترجمه‌ی فارسی Sources از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما