ترنسفورمرها
Transformers
اتنشن، موقعیتها، بلوک ترنسفورمر، کش کلید-مقدار و هزینهی بافتار طولانی.
- ۲۴ سؤال
- ۴ ساعت تمرین
- پاسخها بستهاند تا اول خودتان جواب بدهید
سطح
نوع
۲۴ سؤال
سطح ۱ غربالگری ۴
سطح ۲ میانی ۱۰
- زاویههای مطلق، فاصلههای نسبی
- اتنشن اجرا میشود، اما بردار زمینه ابعاد اشتباهی دارد
- انکودر، دیکودر یا هر دو برای سه محصول مختلف
- یک reshape درست کار میکند و دیگری هدها را به هم میریزد
- انتخاب نوع اتنشن برای دیکودر 70B
- افت ناگهانی تابع زیان و تولید نمونههای بیمعنی
- هزینهی هشت هد در مقایسه با یک هد چیست؟
- مسیر میانبر چه کاری انجام میدهد و دراپاوت کجا قرار میگیرد؟
- مثلث منفی بینهایت از کجا میآید
- چرا لایهی نرمالسازی به قبل از زیرلایه منتقل شد؟
سطح ۳ ارشد ۷
- نقشهی حرارتی توضیح به حساب نمیآید
- محاسبهی دستی تعداد پارامترهای استک رمزگشا
- آیا کرنل اتنشن کاشیکاریشده یک تقریب است؟
- تحلیل سافتمکس آنلاین و پیدا کردن خط آسیبپذیر کد
- بررسی یک بلوک به سبک سال 2017 در مقایسه با پیشفرضهای امروزی
- رساندن زمینهی مدل از 8K به 128K
- پروژه عملی در خانه: پیادهسازی یک دیکودر در سطح نویسه روی لپتاپ