سؤال مصاحبه

حلقه‌ی آموزشی که تابع زیان (loss) آن بعد از چند گام نوسان می‌کند

A training loop whose loss swings after a few steps

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۰ دقیقه

این حلقه یک شبکه‌ی کوچک را با SGD ساده و نرخ یادگیری (learning rate) کم روی یک دسته‌ی (batch) ثابت آموزش می‌دهد.

for step in range(50):
    out = model(x)
    loss = criterion(out, y)
    loss.backward()
    optimizer.step()

تابع زیان برای چند گام اول کاهش می‌یابد و سپس دچار نوسان‌های شدید صعودی و نزولی می‌شود. حلقه را بخوانید، نام باگ را بگویید، سازوکار آن را توضیح دهید و مشخص کنید اصلاحیه کجا قرار می‌گیرد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این حلقه هیچ‌گاه گرادیان‌ها را صفر نمی‌کند؛ بنابراین هر بار فراخوانی backward، گرادیان جدید را روی تمام گرادیان‌های قبلی جمع می‌زند. گام به‌روزرسانی (step) این مجموعِ روبه‌رشد را اعمال می‌کند که رفتاری شبیه به افزایش پیوسته‌ی نرخ یادگیری در هر گام دارد و باعث نوسان تابع زیان می‌شود. فراخوانی zero_grad مربوط به بهینه‌ساز را قبل از backward اضافه کنید؛ یعنی درست همان‌جایی که در حلقه‌ی صحیح درس آمده است.

پاسخ کامل

چرا گرادیان رشد می‌کند

محل ذخیره‌ی گرادیان بر اساس طراحی خود یک انباشت‌گر (accumulator) است. پارامتری که در چند جای مختلف استفاده می‌شود، سهم گرادیان هر بخش را با هم جمع می‌کند؛ بنابراین فراخوانی backward به‌جای جایگزین کردن گرادیان ذخیره‌شده، مقدار جدید را به آن اضافه می‌کند. در مینی‌فریم‌ورک دوره‌مان، متد backward در لایه‌ی Linear دقیقاً همین کار را با عملگر مساوی-به‌علاوه (+=) روی گرادیان وزن‌ها انجام می‌دهد و متد zero_grad در بهینه‌ساز تمام محفظه‌های گرادیان را به 0.0 بازمی‌گرداند. فریم‌ورک‌ها هم دقیقاً همین‌طور عمل می‌کنند. بدون این بازنشانی، گام اول مقدار g1 را اعمال می‌کند، گام دوم g1 به‌علاوه‌ی g2 را اعمال می‌کند، گام سوم مجموع هر سه را اعمال می‌کند و به همین ترتیب ادامه می‌یابد. جهت بردار برای مدتی کم‌وبیش درست می‌ماند، اما بزرگی آن مدام بالا می‌رود تا جایی که به‌روزرسانی‌ها از نقطه‌ی بهینه عبور می‌کنند (overshoot رخ می‌دهد).

ترتیب صحیح در درس

zero_grad, forward, loss, backward, (clip), step, (schedule)

در درس عیب‌یابی، فراموش کردن zero_grad در صدر باگ‌هایی معرفی شده است که بیشترین زمان را تلف می‌کنند، با این نشانه: انباشت گرادیان (gradient accumulation) در میان دسته‌ها و نوسان تابع زیان. نمونه‌کد عملی آن درس، دقیقاً همین حلقه‌ی بالا را بازسازی و گزارش می‌کند. درس بهینه‌سازها نیز قاعده‌ی ترتیب دو فراخوانی پایانی را یادآوری می‌کند: اسکژولر (scheduler) باید بعد از بهینه‌ساز گام بردارد، و جابه‌جا کردن آن‌ها یک باگ پنهان و ظریف است.

نحوه‌ی تشخیص در لاگ‌ها

روی یک دسته‌ی ثابت، نُرم گرادیان (gradient norm) با کاهش تابع زیان باید کم شود یا ثابت بماند. اما با وجود این باگ، نُرم گرادیان گام‌به‌گام افزایش می‌یابد؛ درحالی‌که تابع زیان ابتدا بهبود پیدا کرده و سپس با دامنه‌ی روبه‌رشد نوسان می‌کند. آزمون بیش‌برازش روی یک دسته (که این حلقه شبیه آن است)، موفق به رساندن تابع زیان به مقداری نزدیک به صفر نخواهد شد.

چه زمانی انباشت گرادیان عمدی است

انباشت گرادیان روی چند دسته‌ی کوچک، رفتار یک دسته‌ی بزرگ را شبیه‌سازی می‌کند: روی هر ریزدسته (micro batch) فراخوانی backward را بدون صفر کردن گرادیان اجرا می‌کنید، سپس برای کل گروه یک step و یک zero_grad می‌زنید، درحالی‌که تابع زیان بر اندازه‌ی گروه تقسیم (مقیاس) شده است. این موضوع یکی از تمرین‌های درس فریم‌ورک است. تفاوت آن با این باگ در اجرای تنها یک step به ازای هر گروه و تقسیم کردن مقدار زیان است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا فریم‌ورک‌ها گرادیان‌ها را انباشت می‌کنند و روی مقادیر قبلی بازنویسی نمی‌کنند؟ پاسخ مورد انتظار: پارامتری که در چند جا استفاده شده سهم‌های مختلف را با هم جمع می‌زند، و انباشت روی ریزدسته‌ها یک دسته‌ی بزرگ‌تر را شبیه‌سازی می‌کند؛ وظیفه‌ی صفر کردن هم بر عهده‌ی فراخواننده گذاشته می‌شود.
  • سطح 3: برش گرادیان (clipping) و اسکژولر در چه ترتیبی قرار می‌گیرند؟ پاسخ مورد انتظار: zero_grad، فوروارد، تابع زیان، backward، برش گرادیان، step بهینه‌ساز، گام اسکژولر؛ اسکژولر همیشه بعد از بهینه‌ساز گام برمی‌دارد.
  • سطح 4: چگونه این باگ را فقط از روی لاگ‌ها و بدون خواندن کد تشخیص می‌دهید؟ پاسخ مورد انتظار: نُرم گرادیان روی یک دسته‌ی ثابت به‌جای کاهش یا ثبات، گام‌به‌گام بالا می‌رود و تابع زیان با دامنه‌ی فزاینده دچار نوسان می‌شود.
  • سطح 4: در چه سناریویی صرف‌نظر کردن از zero_grad در برخی گام‌ها درست است؟ پاسخ مورد انتظار: در انباشت عمدی روی چند ریزدسته، که در آن یک بار step و یک بار zero_grad بعد از اتمام کل گروه اجرا می‌شود و تابع زیان بر اندازه‌ی گروه مقیاس شده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ یادگیری بیش از حد بالاست.» نرخ یادگیری کم است؛ چیزی که رشد می‌کند گرادیانِ انباشته‌شده است.
  • «گرادیان‌ها را فقط هر چند گام یک بار صفر کنید تا هموار شوند.» این همان انباشت بدون تقسیم بر اندازه است؛ اندازه‌ی گام متناسب با اندازه‌ی گروه بزرگ می‌شود و تابع زیان نوسان می‌کند.
  • «در هر گام تابع زیان را detach کنید تا جلوی انباشت گرفته شود.» عمل detach جلوی گراف را می‌گیرد، نه گرادیان‌های ذخیره‌شده را؛ بافرهای گرادیان همچنان مجموع مقادیر قبلی را نگه می‌دارند.

کجای دوره آموزش داده می‌شود

درس عیب‌یابی این باگ را بازسازی کرده و آن را در صدر خطاهای رایج حلقه‌ی آموزش قرار داده است، و درس مینی‌فریم‌ورک نشان می‌دهد چرا گرادیان‌ها انباشته می‌شوند و zero_grad دقیقاً چه چیزی را بازنشانی می‌کند.