سیستم‌های استنتاج و سرویس‌دهی

Inference and serving systems

دسته‌بندی، کش کلید-مقدار، کش پیشوند، اسکژولرها و روش سنجش موتور سرویس‌دهی.

سطح ۱ غربالگری ۲

  1. دو فاز یک درخواستمفهومی۶ دقیقه
  2. چرا «255 توکن بر ثانیه» فقط یک شعار استمفهومی۶ دقیقه

سطح ۲ میانی ۱۶

  1. صفر شدن توکن‌های کش‌شده با وجود ثابت بودن قالباشکال‌یابی۸ دقیقه
  2. انتخاب بین موازی‌سازی تنسور، پایپ‌لاین یا دادهطراحی۱۰ دقیقه
  3. چند کاربر در استخر KV جا می‌شوند؟تخمین۱۰ دقیقه
  4. سازوکار دیکودینگ حدسی در حفظ خروجی یکسانمفهومی۸ دقیقه
  5. یک سهمیه‌ی توکن به‌جای دو فاز مجزامفهومی۸ دقیقه
  6. پیش از نرخ پردازش، فرکانس ساعت GPU را بررسی کنیداشکال‌یابی۸ دقیقه
  7. تحلیل سه خط لاگ از اسکژولرکدخوانی۸ دقیقه
  8. حالت خواب، بیداری و به‌روزرسانی وزن‌ها در یک حلقه‌ی یادگیری تقویتیمفهومی۸ دقیقه
  9. دمای صفر دو پاسخ متفاوت دادمفهومی۸ دقیقه
  10. نقطه‌ی زانویی که حافظه‌ی پنهان پیشوند پنهانش کرداشکال‌یابی۸ دقیقه
  11. دو کلاینت، دو عدد، یک سرورمفهومی۸ دقیقه
  12. مزایا و هزینه‌های کش کلید-مقدار FP8بده‌بستان۱۰ دقیقه
  13. هزینه‌ی میزبانی چندین تطبیق‌دهنده‌ی LoRA روی یک سرورطراحی۸ دقیقه
  14. چرا یک شناسه در ابتدای پرامپت کَش را نابود می‌کند؟اشکال‌یابی۸ دقیقه
  15. چرا کش کلید-مقدار استخری از بلوک‌های 16 توکنی است؟مفهومی۸ دقیقه
  16. چرا بخش مشترک پرامپت باید اول بیایدمفهومی۸ دقیقه

سطح ۳ ارشد ۱۱

  1. سهمیه‌ی توکن بزرگ‌تر در بار کاری پایینبده‌بستان۱۰ دقیقه
  2. نرخ پذیرش بر اساس موقعیت درفت، تعداد توکن در هر مرحلهتخمین۸ دقیقه
  3. سقف پذیرش مشخص می‌کند چه کسی معطل بماندبده‌بستان۱۰ دقیقه
  4. انتخاب سقف همروندی وقتی نرخ پردازش مدام بالا می‌رودبده‌بستان۱۲ دقیقه
  5. انتخاب عمق پیش‌نویس EAGLE3 بر اساس میزان همروندیبده‌بستان۱۰ دقیقه
  6. آیا باید اندازه‌ی تکه‌های پیش‌پرکنی را کوچک‌تر کرد؟بده‌بستان۱۰ دقیقه
  7. دیکودینگ حدسی بنچمارک را برد، اما در محیط عملیاتی شکست خورداشکال‌یابی۱۰ دقیقه
  8. دو نسخه‌ی موازی‌سازی داده، خروجی کمتر از یک کارتاشکال‌یابی۱۰ دقیقه
  9. هزینه‌ی قطعی بودن برای یک سرور عملیاتیبده‌بستان۱۰ دقیقه
  10. چه زمانی چک‌پوینت FP8 به‌صرفه است؟بده‌بستان۱۰ دقیقه
  11. چه زمانی تفکیک پیش‌پرکنی و رمزگشایی ارزشش را داردطراحی۱۲ دقیقه

سطح ۴ استف ۳

  1. بنچمارکی با سرورهای تفکیک‌شده که پاسخ‌های خالی را شمردکدخوانی۱۰ دقیقه
  2. طراحی سرویس گفت‌وگو روی مجموعه‌ای از کارت‌های L4طراحی۱۵ دقیقه
  3. نرخ پردازش یکسان، دو رویکرد هنگام پر شدن استخر حافظهبده‌بستان۱۲ دقیقه