سیستمهای استنتاج و سرویسدهی
Inference and serving systems
دستهبندی، کش کلید-مقدار، کش پیشوند، اسکژولرها و روش سنجش موتور سرویسدهی.
- ۳۲ سؤال
- ۵ ساعت تمرین
- پاسخها بستهاند تا اول خودتان جواب بدهید
سطح
نوع
۳۲ سؤال
سطح ۱ غربالگری ۲
سطح ۲ میانی ۱۶
- صفر شدن توکنهای کششده با وجود ثابت بودن قالب
- انتخاب بین موازیسازی تنسور، پایپلاین یا داده
- چند کاربر در استخر KV جا میشوند؟
- سازوکار دیکودینگ حدسی در حفظ خروجی یکسان
- یک سهمیهی توکن بهجای دو فاز مجزا
- پیش از نرخ پردازش، فرکانس ساعت GPU را بررسی کنید
- تحلیل سه خط لاگ از اسکژولر
- حالت خواب، بیداری و بهروزرسانی وزنها در یک حلقهی یادگیری تقویتی
- دمای صفر دو پاسخ متفاوت داد
- نقطهی زانویی که حافظهی پنهان پیشوند پنهانش کرد
- دو کلاینت، دو عدد، یک سرور
- مزایا و هزینههای کش کلید-مقدار FP8
- هزینهی میزبانی چندین تطبیقدهندهی LoRA روی یک سرور
- چرا یک شناسه در ابتدای پرامپت کَش را نابود میکند؟
- چرا کش کلید-مقدار استخری از بلوکهای 16 توکنی است؟
- چرا بخش مشترک پرامپت باید اول بیاید
سطح ۳ ارشد ۱۱
- سهمیهی توکن بزرگتر در بار کاری پایین
- نرخ پذیرش بر اساس موقعیت درفت، تعداد توکن در هر مرحله
- سقف پذیرش مشخص میکند چه کسی معطل بماند
- انتخاب سقف همروندی وقتی نرخ پردازش مدام بالا میرود
- انتخاب عمق پیشنویس EAGLE3 بر اساس میزان همروندی
- آیا باید اندازهی تکههای پیشپرکنی را کوچکتر کرد؟
- دیکودینگ حدسی بنچمارک را برد، اما در محیط عملیاتی شکست خورد
- دو نسخهی موازیسازی داده، خروجی کمتر از یک کارت
- هزینهی قطعی بودن برای یک سرور عملیاتی
- چه زمانی چکپوینت FP8 بهصرفه است؟
- چه زمانی تفکیک پیشپرکنی و رمزگشایی ارزشش را دارد