سؤال مصاحبه

افت ناگهانی تابع زیان و تولید نمونه‌های بی‌معنی

The loss collapses and the samples are nonsense

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک مدل زبانی جدید از نوع فقط-دیکودر (decoder-only) با اندازه‌ی واژگان (vocabulary size) برابر با 64 توکن، تنها پس از چند صد گام به مقدار تابع زیان (loss) نزدیک به صفر می‌رسد، اما متن‌های تولیدشده کاملاً بی‌معنی هستند. دو علت محتمل‌تر و تستی را که این دو را از هم تفکیک می‌کند نام ببرید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روی متن واقعی، افت تابع زیان به مقداری بسیار کمتر از لگاریتم اندازه‌ی واژگان در این مراحل اولیه، آن هم همراه با نمونه‌های خروجیِ بی‌معنی، به احتمال زیاد یعنی مدل هدف خودش را می‌بیند. علت یا نبود ماسک علّی (causal mask) است (به‌طوری‌که موقعیت i از طریق اتنشن توکنِ موقعیت i به اضافه‌ی یک را می‌خواند)، یا شیفت داده نشدن هدف‌هاست (که باعث شده ورودی و هدف دنباله‌ای یکسان باشند). وزن‌های اتنشن را بررسی کنید: اگر مقداری بالای قطر ماتریس قرار دارد، ماسک از بین رفته است؛ اگر وزن‌ها مثلثی هستند، یک دسته (batch) را چاپ کنید و ستون‌های ورودی و هدف را با هم بسنجید.

پاسخ کامل

یک روند آموزش سالم چه شکلی است؟

در گام اول، تابع زیان باید نزدیک به لگاریتم اندازه‌ی واژگان باشد؛ یعنی برای 64 توکن حدود 4.16. در وظیفه‌ی تکرار (repeat task) این درس، این مقدار طی سه دوره (epoch) به عددی کاملاً زیر 1.0 می‌رسد، زیرا توکن بعدی دقیقاً برابر با توکن قبلی است. اما تابع زیانی که روی متن واقعی به صفر می‌رسد، نشانه‌ی یادگیری نیست؛ نشانه‌ی کپی‌کردن است.

علت اول: ماسک

ماسک پیش از اعمال سافت‌مکس (softmax)، تمام درایه‌های بالای قطر ماتریس امتیازات را با منفی بی‌نهایت جایگزین می‌کند. اگر آن را فراموش کنید، هر موقعیت به کل دنباله، از جمله پاسخ، اتنشن می‌دهد. تعبیر این درس این است: اگر ماسک را فراموش کنید، مدلی تربیت کرده‌اید که تقلب می‌کند. حالت‌های رایجی که باعث از دست رفتن ماسک می‌شوند: بافر ماسک برای حداکثر بافت ساخته شده اما متناسب با طول فعلی برش نخورده است، ماسک بعد از سافت‌مکس اعمال شده، یا فراخوانی تابع اتنشن آرگومانی دارد که مقدار پیش‌فرض آن غیرعلّی است.

علت دوم: شیفت

فرض کنید توکن‌های داده‌شده [t1, t2, t3, t4] باشند؛ در این حالت ورودی [t1, t2, t3] و هدف [t2, t3, t4] است. اگر لودر داده همان پنجره را دو بار برگرداند، مدل تابع همانی را یاد می‌گیرد. در این حالت حتی با وجود ماسک بی‌نقص هم تابع زیان سقوط می‌کند.

تست‌ها

  1. تست علّیت (Causality test): توکن موقعیت j را دستکاری کنید و مطمئن شوید که خروجی‌های موقعیت‌های پیش از j هیچ تغییری نمی‌کنند. مجموعه‌تست‌های این درس این ویژگی را تثبیت می‌کنند.
  2. تست ماتریس مثلثی (Triangle test): وزن‌های اتنشن را برای یک هد (head) برگردانید و مطمئن شوید که درایه‌های مثلث بالایی پس از سافت‌مکس دقیقاً صفر هستند.
  3. بررسی دسته (Batch inspection): یک جفت ورودی و هدف را چاپ کنید و مطمئن شوید که هدف، دقیقاً همان ورودی با یک واحد شیفت به چپ است.
  4. بررسی داده‌های نگه‌داشته‌شده (Held-out check): تابع زیان را روی متن نگه‌داشته‌شده (held-out) با همان پایپ‌لاین حساب کنید. مدلی که یک پیکره متنی (corpus) کوچک را حفظ کرده باشد، روی داده‌ی نگه‌داشته‌شده زیان بالایی دارد و نمونه‌های خروجی‌اش عیناً متن آموزش را کپی می‌کنند؛ اما نشت اطلاعات، نمونه‌هایی کاملاً بی‌معنی تولید می‌کند.

چرا نمونه‌برداری واقعیت را برملا می‌کند؟

هنگام آموزش، پاسخ از طریق ورودی نشت می‌کند و به همین دلیل تابع زیان پایین می‌آید. اما زمان نمونه‌برداری، مدل چیزی برای کپی‌کردن در دست ندارد و نویز تولید می‌کند. مدلی که وظیفه‌ی اصلی را یاد گرفته باشد، در هر دو حالت عملکرد خوبی دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: در گام صفر انتظار چه مقدار زیانی را دارید و چرا؟ پاسخ مورد انتظار: حدود لگاریتم اندازه‌ی واژگان، یعنی حدود 4.16 برای 64 توکن؛ چون یک مدل تصادفی، احتمال را به‌طور یکنواخت توزیع می‌کند.
  • سطح 2: چطور در لودر داده جلوی خطای شیفت را به‌کلی بگیریم؟ پاسخ مورد انتظار: پنجره‌ای به طول T به اضافه‌ی 1 را برش بزنید و window[:-1] و window[1:] را از همان برش برگردانید، همراه با تستی روی یک نمونه.
  • سطح 3: تست واحدِ علّیت را در یک جمله بنویسید. پاسخ مورد انتظار: توکن موقعیت j را تغییر دهید، بلوک را دوباره اجرا کنید و مطمئن شوید تمام خروجی‌های پیش از j دست‌نخورده مانده‌اند.
  • سطح 3: ماسک و شیفت هر دو درست‌اند، اما تابع زیان همچنان به شکل مشکوکی پایین است. چه چیز دیگری نشت می‌کند؟ پاسخ مورد انتظار: پنجره‌ی اعتبارسنجی با جریان داده‌ی آموزشی همپوشانی (overlap) دارد، یا توکن‌های پدینگ (padding) به عنوان اهداف ساده محاسبه شده‌اند؛ تفکیک داده‌ها و ماسک تابع زیان را بررسی کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل فقط دارد سریع یاد می‌گیرد.» افت تابع زیان به نزدیکی صفر روی متن طبیعی، بدون دیدن هدف ممکن نیست.
  • «دراپ‌اوت (Dropout) اضافه کنید تا مدل منظم‌سازی شود.» دراپ‌اوت جلوی نشت داده را نمی‌گیرد؛ فقط کپی‌کردن را کمی نویزی‌تر می‌کند.
  • «نرخ یادگیری (learning rate) را کم کنید.» فرایند بهینه‌سازی (optimization) مشکلی ندارد؛ تعریف تابع هدف خراب است.

کجای دوره آموزش داده می‌شود

پروژه‌های پروژه‌ی پایانی اتنشن و پروژه‌ی پایانی بلوک ترنسفورمر ماسک را می‌سازند و تست می‌کنند، و درس مدل‌سازی علّی زبان تابع زیان با شیفتِ یک‌واحدی را تعریف می‌کند.