این ماژول دراپاوت (Dropout) از یک مینیفریمورک برداشته شده است:
class Dropout(Module):
def __init__(self, p=0.5):
super().__init__()
self.p = p
self.mask = None
def forward(self, x):
if not self.training:
return x
self.mask = [0.0 if random.random() < self.p else 1.0 / (1 - self.p) for _ in x]
return [v * m for v, m in zip(x, self.mask)]
def backward(self, grad):
if self.mask is None:
return grad
return [g * m for g, m in zip(grad, self.mask)]
چرا درایههای حفظشده در ماسک، بهجای 1 برابر با 1 بر روی (1 منهای p) هستند، و چرا گام رو به عقب (Backward Pass) از همان ماسک دوباره استفاده میکند؟ اگر در گذر رو به جلو عدد 1 حفظ میشد و مقیاسبندی به زمان ارزیابی انتقال مییافت، چه تغییری ایجاد میشد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
هر واحد با احتمال p صفر میشود؛ بنابراین امید ریاضی مقدار یک واحد به (1 - p) برابر مقدار اولیهاش افت میکند. تقسیم واحدهای حفظشده بر (1 - p)، این امید ریاضی را در طول آموزش به حالت اول بازمیگرداند تا در زمان ارزیابی، شبکه بهصورت عادی و بدون هیچ تغییری اجرا شود. گام رو به عقب گرادیان را در همان ماسک ضرب میکند، چرا که گذر رو به جلو (forward pass) یک مقیاسبندی واحدبهواحد بوده و مشتق تابع مقیاسبندی، خود همان ضریب مقیاس است. انتقال این ضریب به زمان ارزیابی هم جواب میدهد، اما در آن صورت تمام مسیرهای استنتاج (inference) باید از نرخ دراپاوت باخبر باشند.
پاسخ کامل
دلیل مبتنی بر امید ریاضی
هر درایه از ماسک با احتمال p برابر با 0 و در غیر این صورت برابر با 1 بر روی (1 - p) است. امید ریاضی آن برابر است با (1 - p) ضرب در 1 بر روی (1 - p)، که حاصلش 1 میشود. در نتیجه، امید ریاضی خروجی هر واحد در زمان آموزش، با خروجی آن هنگام خاموش بودن دراپاوت یکسان خواهد بود. شبکه در هر دو حالت مقیاس یکسانی را میبیند و در مسیر ارزیابی اصلاً نیازی به کد دراپاوت نیست. درس این روش را «دراپاوت معکوس» (inverted dropout) مینامد. شکل اولیهی دراپاوت، مقدار ماسک را روی 1 نگه میداشت و در زمان آزمون خروجی را در (1 - p) ضرب میکرد؛ روشی که کد استنتاج را مجبور میکرد مقدار p را بداند.
گام رو به عقب
دراپاوت یک مقیاسبندی نظیربهنظیر (element-wise) با مقادیر ماسک است. گرادیان ورودی برابر است با گرادیان خروجی ضرب در همان ماسک: واحدهای حذفشده گرادیان 0 میگیرند و گرادیان واحدهای حفظشده با ضریب 1 بر روی (1 - p) مقیاسبندی میشود. این ماسک حتماً باید همان ماسکِ گذر رو به جلوی متناظر باشد، زیرا گام رو به عقب از همان تابعی مشتق میگیرد که در مسیر رفت اجرا شده است. ساخت یک ماسک جدید، گرادیان را به واحدهایی میفرستد که خاموش بودند و ضریب مقیاس واحدهای فعال را دستکاری میکند. گارد مربوط به نبودِ ماسک فقط فراخوانی گام رو به عقب را پیش از هرگونه گذر رو به جلو در حالت آموزش پوشش میدهد. branch ارزیابی پیش از آنکه تغییری در ماسک ایجاد کند خروجی را برمیگرداند؛ بنابراین فراخوانی گام رو به عقب پس از یک گذر رو به جلو در حالت ارزیابی، از ماسکِ آخرین گذر رو به جلوی آموزشی دوباره استفاده میکند.
دراپاوت چه مزیتی دارد؟
صفر کردن تصادفی واحدها جلوی وابستگی نورونها به حضور نورونهای خاص دیگر را میگیرد؛ پدیدهای که در درس به آن همسازگاری (co-adaptation) میگوییم. هر ماسک یک زیرشبکه را انتخاب میکند؛ بنابراین آموزش عملاً از میان حدود 2 به توان N زیرشبکه (برای N واحد) نمونهبرداری انجام میدهد و فاز ارزیابی با اجرای کل شبکه روی امید ریاضیِ مقیاسبندیشده، در یک گذر از همهی آنها میانگین میگیرد. نرخهای پیشفرض: 0.1 برای ترنسفورمرها، 0.5 برای MLPها و 0.2 تا 0.3 برای CNNها. مقدار بالاتر p به معنای منظمسازی (regularization) قویتر و ریسک بیشتر برای کمبرازش (underfitting) است.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: واحدی که حذف شده چه گرادیانی دریافت میکند؟ پاسخ مورد انتظار: صفر، چون درایهی متناظر آن در ماسک 0 است.
- سطح 2: چرا گام رو به عقب باید از ماسک همان گذر رو به جلو استفاده کند؟ پاسخ مورد انتظار: گام رو به عقب از تابعی مشتق میگیرد که در مسیر رفت اجرا شده است؛ یک ماسک جدید مقیاس واحدهای فعال را بهاشتباه تغییر میدهد و به واحدهای غیرفعال گرادیان میرساند.
- سطح 3: تعبیر آنسامبل (ensemble) از دراپاوت چیست؟ پاسخ مورد انتظار: هر ماسک یک زیرشبکه تعریف میکند؛ در نتیجه فرایند آموزش از میان حدود 2 به توان N زیرشبکه نمونهبرداری میکند و فاز ارزیابی با اجرای کل شبکه بر اساس امید ریاضی مقیاسبندیشده، میانگین آنها را میگیرد.
- سطح 3: درس چه نرخی را برای یک ترنسفورمر مطرح میکند و چرا این مقدار کمتر از MLP است؟ پاسخ مورد انتظار: 0.1 در مقایسه با 0.5؛ نرخ بالاتر منظمسازی قویتری به همراه دارد و ریسک کمبرازش را بالا میبرد، و مقدار پیشفرض ترنسفورمر حالت ملایمتر است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «این مقیاسبندی باعث میشود مجموع خروجیها برابر یک شود.» این ضریب فقط امید ریاضی هر واحد را به حالت اول برمیگرداند، نه مجموع را.
- «گام رو به عقب برای اکتشاف باید ماسک جدیدی تولید کند.» گام رو به عقب از تابعی مشتق میگیرد که در مسیر رفت اجرا شده است؛ یک ماسک متفاوت گرادیانِ یک تابع دیگر را تولید میکند.
- «در حالت ارزیابی هم باید خروجی را در (1 - p) ضرب کنیم.» با دراپاوت معکوس، مقیاسبندی قبلاً در زمان آموزش انجام شده است؛ مقیاسبندی مجدد در زمان ارزیابی، مقدار تمام فعالسازیها را منقبض و کوچک میکند.
کجای دوره آموزش داده میشود
درس منظمسازی دراپاوت معکوس را استخراج میکند و درس مینیفریمورک آن را به این ماژول تبدیل مینماید.