ترنسفورمرها

Transformers

اتنشن، موقعیت‌ها، بلوک ترنسفورمر، کش کلید-مقدار و هزینه‌ی بافتار طولانی.

سطح ۱ غربالگری ۴

  1. محاسبه‌ی حجم محاسبات اتنشن برای 100 توکن تولیدشدهتخمین۶ دقیقه
  2. توضیح پرس‌وجو، کلید و مقدار در یک دقیقهمفهومی۶ دقیقه
  3. جای کلمات را عوض کنید؛ اتنشن متوجه نخواهد شدمفهومی۶ دقیقه
  4. چرا امتیازهای اتنشن پیش از سافت‌مکس تقسیم می‌شوند؟مفهومی۶ دقیقه

سطح ۲ میانی ۱۰

  1. زاویه‌های مطلق، فاصله‌های نسبیمفهومی۸ دقیقه
  2. اتنشن اجرا می‌شود، اما بردار زمینه ابعاد اشتباهی دارداشکال‌یابی۸ دقیقه
  3. انکودر، دیکودر یا هر دو برای سه محصول مختلفبده‌بستان۸ دقیقه
  4. یک reshape درست کار می‌کند و دیگری هدها را به هم می‌ریزدکدخوانی۸ دقیقه
  5. انتخاب نوع اتنشن برای دیکودر 70Bبده‌بستان۱۰ دقیقه
  6. افت ناگهانی تابع زیان و تولید نمونه‌های بی‌معنیاشکال‌یابی۸ دقیقه
  7. هزینه‌ی هشت هد در مقایسه با یک هد چیست؟مفهومی۸ دقیقه
  8. مسیر میان‌بر چه کاری انجام می‌دهد و دراپ‌اوت کجا قرار می‌گیرد؟مفهومی۸ دقیقه
  9. مثلث منفی بی‌نهایت از کجا می‌آیدمفهومی۸ دقیقه
  10. چرا لایه‌ی نرمال‌سازی به قبل از زیرلایه منتقل شد؟بده‌بستان۸ دقیقه

سطح ۳ ارشد ۷

  1. نقشه‌ی حرارتی توضیح به حساب نمی‌آیدمفهومی۱۰ دقیقه
  2. محاسبه‌ی دستی تعداد پارامترهای استک رمزگشاتخمین۱۰ دقیقه
  3. آیا کرنل اتنشن کاشی‌کاری‌شده یک تقریب است؟مفهومی۱۰ دقیقه
  4. تحلیل سافت‌مکس آنلاین و پیدا کردن خط آسیب‌پذیر کدکدخوانی۱۲ دقیقه
  5. بررسی یک بلوک به سبک سال 2017 در مقایسه با پیش‌فرض‌های امروزیطراحی۱۲ دقیقه
  6. رساندن زمینه‌ی مدل از 8K به 128Kطراحی۱۲ دقیقه
  7. پروژه عملی در خانه: پیاده‌سازی یک دیکودر در سطح نویسه روی لپ‌تاپپروژه‌ی خانگی۱۵ دقیقه

سطح ۴ استف ۳

  1. جهش ناگهانی بنچمارک میان دو اندازه‌ی مدلمفهومی۱۲ دقیقه
  2. طراحی پشته‌ی اتنشن برای بافت 128K روی یک کارتطراحی۱۵ دقیقه
  3. تقسیم بودجه‌ی پردازشی ثابت بین اندازه و تعداد توکن‌هابده‌بستان۱۵ دقیقه