توکن‌سازی، نمونه‌برداری و رمزگشایی

Tokenization, sampling and decoding

تبدیل متن به توکن، نحوه‌ی انتخاب توکن بعدی توسط مدل، و سرعت‌بخشی به رمزگشایی با روش حدسی.

سطح ۱ غربالگری ۳

  1. یک گام از آموزش کدگذاری جفت‌بایت و دست‌سازه‌ی نهایی آنمفهومی۶ دقیقه
  2. پرامپت یکسان در زبان کره‌ای توکن بیشتری مصرف می‌کندمفهومی۶ دقیقه
  3. چرا مدل‌ها زیرکلمه‌ها را می‌خوانند و از بایت‌ها شروع می‌کنند؟مفهومی۶ دقیقه

سطح ۲ میانی ۹

  1. شمارش پنجره‌های حاصل از یک جریان توکنکدخوانی۸ دقیقه
  2. گرامر چطور لاجیت‌ها را دستکاری می‌کند و چرا این کار می‌تواند سرعت را بیشتر کند؟مفهومی۸ دقیقه
  3. تحلیل عددیِ افزایش اندازه‌ی واژگان به 128Kتخمین۸ دقیقه
  4. چرا دیکودینگ حدسی روی کد پرواز می‌کند و روی نویسندگی خلاق متوقف می‌شود؟بده‌بستان۸ دقیقه
  5. نوت‌بوک کار می‌کند اما سرویس بی‌وقفه حرف می‌زنداشکال‌یابی۸ دقیقه
  6. سه روش برای ساخت واژگان زیرکلمهبده‌بستان۸ دقیقه
  7. دو رمزگشا؛ یکی روی ایموجی از کار می‌افتدکدخوانی۸ دقیقه
  8. هدف از جداسازی متن قبل از اعمال mergeها چیست؟مفهومی۸ دقیقه
  9. چرا انکودر فهرست mergeها را به ترتیب بازپخش می‌کند؟مفهومی۸ دقیقه

سطح ۳ ارشد ۷

  1. تمام خروجی‌ها معتبرند اما پاسخ‌ها غلط از آب درمی‌آیندطراحی۱۰ دقیقه
  2. از نرخ پذیرش تا توکن به‌ازای هر بار اجراتخمین۱۰ دقیقه
  3. تحلیل یک گام دیکودینگ حدسی و دفاع از تک‌تک خطوط آنکدخوانی۱۲ دقیقه
  4. پروژه ارزیابی مهندسی: پیاده‌سازی توکنایزر سطح بایت همراه با تست‌هاپروژه‌ی خانگی۱۵ دقیقه
  5. وزن‌ها تغییر نکردند اما امتیاز افت کرداشکال‌یابی۱۰ دقیقه
  6. کدام معماری پیش‌بینی چندتوکنی یک مدل پیش‌نویس رایگان فراهم می‌کند؟مفهومی۱۰ دقیقه
  7. چرا مدل پیش‌نویسی که وضعیت‌های پنهان را می‌خواند نرخ پذیرش بالاتری دارد؟مفهومی۱۰ دقیقه

سطح ۴ استف ۳

  1. ادغام در پیش‌آموزش، آموزش پس از آن، یا استفاده از یک مدل کوچک؟طراحی۱۵ دقیقه
  2. طراحی توکن‌ساز برای یک مدل چندزبانه و کدنویسیطراحی۱۵ دقیقه
  3. میانگین تاخیر بهتر شده اما وضعیت دنباله بدتر شده استاشکال‌یابی۱۲ دقیقه