کدنویسی

Coding

کدی را بنویسید که درس‌ها آموزش می‌دهند. هر بخش به یک وظیفه تمرینی همراه با بررسی‌ها متصل است.

سطح ۱ غربالگری ۳

  1. ضریب مقیاس در اتنشن ضرب داخلیکدخوانی۶ دقیقه
  2. دمای نمونه‌گیری چطور توزیع را تغییر می‌دهدمفهومی۶ دقیقه
  3. چرا سافت‌مکس ابتدا بیشینه‌ی هر سطر را کم می‌کند؟کدخوانی۶ دقیقه

سطح ۲ میانی ۹

  1. ماسک علّی که خودِ توکن را هم مسدود می‌کندکدخوانی۸ دقیقه
  2. یک merge که باعث اشتراک نماد بین دو تطابق می‌شودکدخوانی۸ دقیقه
  3. تابع زیان آموزشی که به صفر می‌رسد و هیچ‌چیز یاد نمی‌گیردکدخوانی۸ دقیقه
  4. دراپ‌اوتی که در زمان ارزیابی هم فعال می‌ماندکدخوانی۸ دقیقه
  5. تقسیم هدها با ابعاد درست و داده‌های کاملاً غلطکدخوانی۸ دقیقه
  6. جایگزینی جدول موقعیت یادگیری‌شده با جدول ثابتپروژه‌ی خانگی۲۰ دقیقه
  7. آموزش فهرست merge در BPE بر اساس بسامد کلماتپروژه‌ی خانگی۳۰ دقیقه
  8. کاهش وزنی که وارد گرادیان شدکدخوانی۱۰ دقیقه
  9. پیاده‌سازی مرحله‌ی نمونه‌برداری در حلقه‌ی تولید متنپروژه‌ی خانگی۲۰ دقیقه

سطح ۳ ارشد ۸

  1. کش کلید-مقداری که آخرین جایگاه خود را از دست می‌دهدکدخوانی۱۰ دقیقه
  2. هدهای اتنشنی که هرگز با هم ترکیب نمی‌شونداشکال‌یابی۱۰ دقیقه
  3. اتصال اشتباه هدهای پرس‌وجو به گروه‌ها در GQAکدخوانی۱۰ دقیقه
  4. نمونه‌برداری هسته‌ای که توکنِ رساننده به p را حذف می‌کنداشکال‌یابی۱۰ دقیقه
  5. جایگزینی لایه‌نرم نهایی با RMSNorm بدون شکستن مدلکدخوانی۱۰ دقیقه
  6. جستجوی شبکه‌ای نرخ یادگیری اوج و تشخیص واگراییپروژه‌ی خانگی۲۵ دقیقه
  7. آموزش کوچک‌ترین مدل زبانی فراتر از خط مبناپروژه‌ی خانگی۳۰ دقیقه
  8. کاهش وزن را باید روی کدام پارامترها اعمال کرد؟کدخوانی۱۰ دقیقه

سطح ۴ استف ۲

  1. توکن‌ساز در سطح بایت با توکن‌های ویژه محافظت‌شدهپروژه‌ی خانگی۴۵ دقیقه
  2. تبدیل یک چک‌پوینت اتنشن چندسر به هدهای کوئری گروه‌بندی‌شدهتخمین۱۵ دقیقه