سؤال مصاحبه

کاهش ملایم تابع زیان که پس از چند ساعت ناگهان inf و سپس NaN می‌شود

A smooth loss that turns inf and then NaN hours in

  • سطح ۴: استف
  • اشکال‌یابی
  • ۱۵ دقیقه

فرایند آموزش ساعت‌ها با کاهش یکنواخت و ملایم تابع زیان (loss) پیش می‌رود. سپس، در عرض سه بازه‌ی لاگ‌گیری، مقدار تابع زیان جهش می‌کند، به inf تبدیل می‌شود و تمام مقادیر پس از آن NaN می‌شوند. همین پیکربندی روی مدل کوچک‌تر جواب داده بود. دلایل احتمالی را به‌ترتیب رتبه بنویسید، شواهد تمایزدهنده‌ی آن‌ها را مشخص کنید و بگویید چه تغییراتی مانع از تکرار مجدد این اتفاق می‌شوند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

فرایند آموزشی تمیزی که در مراحل پایانی متوقف می‌شود، تقریباً همیشه ناشی از یک به‌روزرسانی بیش از حد بزرگ (oversized update) است: نرخ یادگیری اوج (peak learning rate) برای این مدلِ بزرگ‌تر بسیار بالا است، یک دسته‌ی (batch) نامتعارف و نادر گرادیان بسیار عظیمی تولید کرده، یا برنامه‌ی زمان‌بندی نرخ یادگیری در نقطه‌ای به اوج خود رسیده که مدل از قبل حساس بوده است. لاگ‌ها این حالت‌ها را از هم جدا می‌کنند: هنگام انفجار، نُرم گرادیان (gradient norm) زودتر از تابع زیان جهش می‌کند؛ در حالی که در سرریزِ گذر رو به جلو (forward pass overflow) — مثل سافت‌مکس (softmax) بدون انتقال بیشینه (max shift) یا نرمال‌سازی روی واریانس صفر — نُرم گرادیان عادی می‌ماند و مقدار تابع زیان ظرف یک گام به inf می‌رسد. برای رفع مشکل، برش گرادیان (gradient clipping) بر اساس نُرم را روی 1.0 تنظیم کنید، نرخ اوج را پایین بیاورید و دوره‌ی گرم‌کردن (warmup) بگذارید، تابع زیان را مستقیماً از روی لاجیت‌ها (logits) به دست آورید و سپس آموزش را از آخرین چک‌پوینت سالم ادامه دهید.

پاسخ کامل

رتبه‌بندی دلایل

  1. به‌روزرسانی بیش از حد بزرگ برای این مدل: طبق جدول درس عیب‌یابی، اگر مقدار تابع زیان پس از چند گام NaN شود، یعنی نرخ یادگیری بسیار بالا است و اولین کار، کاهش 10 برابری آن است. نرخ اوجی که برای مدل کوچک‌تر ایمن بوده، روی مدل بزرگ‌تر لبِ مرز قرار می‌گیرد. درس پروژه نهایی توصیه می‌کند که نرخ اوجِ مدل کوچک را فقط به چشم یک پیشین (prior) بررسی کنید؛ چون نقطه‌ی بهینه همراه با اندازه‌ی مدل تغییر می‌کند، پس به‌جای کپی‌کردن باید آن را بسنجید.
  2. یک دسته‌ی نامتعارف: یک دسته‌ی پرت می‌تواند گرادیانی چنان بزرگ بسازد که تمام وزن‌ها را در یک گام به هم بریزد. بدون برش گرادیان، هیچ مانعی جلوی آن وجود ندارد.
  3. موقعیت در برنامه‌ی زمان‌بندی نرخ یادگیری: ببینید برنامه‌ی زمان‌بندی موقع جهش تابع زیان دقیقاً در چه نقطه‌ای بوده است. گرم‌کردن خیلی کوتاه یا رسیدن به نقطه‌ی اوج در زمانی نامناسب، بزرگ‌ترین گام‌ها را به مدلی تحمیل می‌کند که توان پذیرش آن‌ها را ندارد.
  4. سرریز در گذر رو به جلو: استفاده از تابع نمایی (exp) در پیاده‌سازی دستیِ سافت‌مکس بدون تفریق بیشینه، لگاریتم صفر، یا تقسیم بر واریانس صفر در لایه‌های نرمال‌سازی. این‌ها بلافاصله مقدار inf تولید می‌کنند و معمولاً در همان گام اول رخ می‌دهند؛ برای همین در فرایندی که ساعت‌ها بی‌نقص کار کرده اولویت پایینی دارند، هرچند یک دسته‌ی نادر ممکن است دیرتر باعث رخ دادن آن‌ها شود.

آنچه لاگ‌ها نشان می‌دهند

  • نُرم L2 گرادیان که در هر گام در کنار نرخ یادگیری ثبت می‌شود. طبق قاعده‌ی درس پروژه‌ی نهایی: در یک فرایند واگرا، نُرم گرادیان پیش از جهش تابع زیان بالا می‌پرد. در حالت سرریز، نُرم طبیعی می‌ماند و مقدار تابع زیان تنها در یک گام به inf تبدیل می‌شود.
  • آمارهای گرادیان در هر لایه. درس عیب‌یابی لایه‌ای را که میانگین قدرمطلق گرادیان آن از 100 رد شود دچار انفجار می‌داند و نشان می‌دهد کدام لایه اول از همه از دست رفته است.
  • بازپخش (Replay). آخرین چک‌پوینت سالم را لود کنید، دسته‌ی مربوط به گام ناموفق را به مدل بدهید و نُرم گرادیان را زیر نظر بگیرید. اگر همان دسته به‌تنهایی باعث جهش نُرم شد، جرقه از همان‌جا بوده است؛ اگر نشد، مشکل از برنامه‌ی زمان‌بندی یا نرخ یادگیری است.
  • تشخیص ناهنجاری (Anomaly Detection) در موتور مشتق‌گیری خودکار (autograd)، برای مشخص کردن همان عملیاتی که نخستین بار NaN را تولید کرده است.

تغییراتی که جلوی تکرار را می‌گیرند

  • پیش از گام به‌روزرسانی، گرادیان را بر اساس نُرم کلی (global norm) آن روی 1.0 برش دهید. برش بر اساس نُرم جهت بردار را حفظ می‌کند، ولی برش بر اساس تک‌تک درایه‌ها جهت آن را تغییر می‌دهد.
  • نرخ اوج را پایین بیاورید و دوره‌ی گرم‌کردنی معادل 1 تا 5 درصد از گام‌ها تعیین کنید تا گام‌های بزرگ زمانی اعمال شوند که آماره‌های بهینه‌ساز جا افتاده باشند.
  • تابع زیان را مستقیماً از لاجیت‌ها و با تابعی یکپارچه (fused) و پایدار محاسبه کنید و درون لگاریتم‌ها و تقسیم‌ها اپسیلون بگذارید.
  • چک‌پوینت‌ها را در فاصله‌هایی ذخیره کنید که ازسرگیری آموزش فقط چند دقیقه زمان ببرد، و روی NaN شدن تابع زیان هشدار بگذارید تا فرایند بلافاصله در نخستین گام خراب متوقف شود، نه ساعت‌ها بعد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: در لاگ‌ها، چه چیزی یک به‌روزرسانی بیش از حد بزرگ را از سرریز در گذر رو به جلو متمایز می‌کند؟ انتظار می‌رود: در حالت انفجار، نُرم گرادیان در چند گام پیاپی پیش از تابع زیان اوج می‌گیرد؛ اما در سرریز، نُرم گرادیان طبیعی است و تابع زیان ظرف یک گام به inf می‌رسد.
  • سطح 4: چرا برش گرادیان باید بر اساس نُرم باشد نه بر اساس مقدار؟ انتظار می‌رود: برش بر اساس نُرم کل گرادیان را مقیاس‌بندی می‌کند و جهت آن را نگه می‌دارد؛ در حالی که برش تک‌تک درایه‌ها جهت را تغییر می‌دهد.
  • سطح 4: چرا همان دستورالعمل روی مدل کوچک‌تر جواب داد؟ انتظار می‌رود: نرخ اوجی که آنجا بی‌خطر بود، برای مدل بزرگ‌تر نزدیک لبه‌ی پرتگاه قرار دارد؛ سنجش روی مدل کوچک فقط یک پیشین است و چون نقطه‌ی بهینه همراه با اندازه تغییر می‌کند، باید آن را بسنجید، نه اینکه کپی کنید.
  • سطح 4: چه سازوکاری اضافه می‌کنید تا اجرای آموزش هرگز دوباره در سکوت متوقف نشود؟ انتظار می‌رود: ثبت نُرم گرادیان در کنار نرخ یادگیری در هر گام، هشدار روی NaN شدن تابع زیان، ذخیره‌ی پیوسته‌ی چک‌پوینت‌ها برای ازسرگیری سریع، و شروع مجدد همراه با برش گرادیان و دوره‌ی گرم‌کردن.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک اپسیلون به تابع زیان اضافه کنید و از اول اجرا کنید.» اپسیلون فقط جلوی لگاریتم صفر در گام اول را می‌گیرد؛ انفجاری که پس از ساعت‌ها رخ داده ناشی از اندازه‌ی به‌روزرسانی است و روند دوباره خراب خواهد شد.
  • «نرخ یادگیری را نصف کنید و امید داشته باشید درست شود.» نصف کردن فقط یک حدس است؛ راهکار درس این است که آن را 10 برابر کاهش دهید، همراه با برش گرادیان و بررسی موقعیت در برنامه‌ی زمان‌بندی نرخ یادگیری.
  • «مقدار NaN یعنی یک ردیف خراب در داده‌ها وجود دارد.» داده‌ی خراب خودش را در همان دور (epoch) اول نشان می‌دهد، نه پس از ساعت‌ها آموزش تمیز؛ پیش از آنکه داده را مقصر بدانید، دسته‌ی منجر به خطا را روی چک‌پوینت سالم بازپخش کنید.

کجای دوره آموزش داده می‌شود

درس عیب‌یابی ردیف‌های مربوط به NaN در جدول مرجع را معرفی می‌کند، درس بهینه‌سازها جایگاه برش گرادیان در حلقه را نشان می‌دهد، درس برنامه‌های زمان‌بندی نرخ یادگیری مباحث گرم‌کردن و نرخ اوج را پوشش می‌دهد، و پروژه‌ی نهایی گرم‌کردن کسینوسی لاگ‌گیری نُرم گرادیان در کنار نرخ یادگیری را بررسی می‌کند.