مرجع R.8

فهرست شکل‌ها

Index of figures

تمام شکل‌های این راهنما، به‌ترتیب، بر اساس پیام محوری هر شکل.

هر سطر به شکل مربوطه‌اش لینک شده است. داده‌های کمّی هر شکل از اجراهای ما روی GPUها به دست آمده‌اند و هر بخش هم به فایل‌های مورد استفاده‌اش ارجاع می‌دهد. رنگ‌ها از پالت بخش مقدمه پیروی می‌کنند:

  • آبی سرور vLLM است: فرایند API server و هسته‌ی موتور
  • بنفش مدل و گذر رو به جلو (forward pass) آن است: کرنل‌ها، بک‌اندهای اتنشن و گراف‌های CUDA
  • سبز کش کلید-مقدار (KV cache) است: بلوک‌ها، استخر بلوک و پیشوندهای کش‌شده
  • آلبالویی محاسبات مدل است: مراحل پیش‌پرکنی (prefill) و رمزگشایی (decode)
  • زیتونی کلاینت و شبکه است: HTTP، رابط OpenAI API و کلاینت بنچمارک
  • نیلی جریان‌ها (streams)، پیام‌های بین‌فرایندی و توکن‌های استریم‌شده است
  • کهربایی چرخه‌ی حیات است: وضعیت‌های درخواست و مراحل اسکژولر (scheduler)
  • فیروزه‌ای وضعیت پایدار (durable state) است: وزن‌های روی دیسک، حافظه‌ی میزبان و KV آفلودشده
  • رُز خطاها و شکست‌هاست: کمبود حافظه (OOM)، پیش‌دستی (preemption)، لغو درخواست‌ها و کرش‌ها
  • خاکستری اجزای خارج از vLLM است: سیستم‌عامل، سایر برنامه‌ها و درایور GPU

منابع: بلوک‌های شکل در front.md و تک‌تک فایل‌های مسیر /sections؛ فایل manual.json (پالت رنگ)

ترجمه‌ی فارسی Index of figures از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما