سؤال مصاحبه

دراپ‌اوتی که در زمان ارزیابی هم فعال می‌ماند

Dropout that still acts during evaluation

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

دو بار اجرای ارزیابی روی یک چک‌پوینت و دسته‌های اعتبارسنجی ثابت، مقادیر متفاوتی برای تابع زیان (loss) برمی‌گردانند. لایه‌ی دراپ‌اوت (dropout) به این صورت است:

def dropout_forward(x, p, rng, training):
    mask = rng.random(x.shape) >= p
    if training:
        return x * mask / (1 - p), mask
    return x * (1 - p), mask

تمام ایرادهای مسیر استنتاج (inference) را پیدا کنید و توضیح دهید تابع ارزیابی چه انتظاری دارد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دراپ‌اوت معکوس (inverted dropout) واحدهای نگه‌داشته‌شده را حین آموزش مقیاس‌بندی می‌کند تا مرحله‌ی استنتاج دقیقاً همان تابع همانی (identity) باشد؛ اما این مسیر استنتاج، ورودی را در یک منهای p ضرب می‌کند؛ رفتاری که مربوط به دراپ‌اوت غیرمعکوس است و باعث تضعیف همه‌ی اکتیویشن‌ها می‌شود. علاوه بر این، در حالت استنتاج هم از مولد اعداد تصادفی (generator) مقدار می‌کشد که باعث تغییر همه‌ی اعداد تصادفی بعدی در کل اجرا می‌شود؛ مثل ماسک آموزش بعدی و نمونه‌ی آزمون ارزیابی (probe) بعدی. استنتاج باید ورودی را دست‌نخورده برگرداند و اصلاً نباید سراغ مولد اعداد تصادفی برود.

پاسخ کامل

دو باگ موجود

  1. مقیاس‌بندی در زمان استنتاج. در دراپ‌اوت معکوس، تقسیم بر یک منهای p حین آموزش انجام می‌شود؛ بنابراین امید ریاضی اکتیویشن‌ها از پیش با حالت بدون دراپ‌اوت همخوانی دارد. مقیاس‌بندی دوباره در استنتاج، با نرخ 0.5 سیگنال را نصف می‌کند و به خروجی تمام لایه‌های بعدی ضربه می‌زند.
  2. مصرف اعداد تصادفی در زمان استنتاج. ماسک قبل از branch نمونه‌برداری می‌شود. مرحله‌ی ارزیابی اعداد تصادفی مصرف می‌کند؛ در نتیجه تولید نمونه بعد از آزمون ارزیابی و هر گام آموزش بعدی، دنباله‌ای تصادفی متفاوتی نسبت به یک اجرای بدون آزمون ارزیابی دریافت می‌کنند.

اصلاح کد

def dropout_forward(x, p, rng, training):
    if not training:
        return x.copy(), np.ones(x.shape, dtype=bool)
    mask = rng.random(x.shape) >= p
    return x * mask / (1 - p), mask

در زمان استنتاج، لایه یک کپی از ورودی و ماسکی سراسر True برمی‌گرداند و هیچ عدد تصادفی‌ای تولید نمی‌کند. مقادیر تنها زمانی حفظ می‌شوند که عدد تصادفی بزرگ‌تر یا مساوی p باشد تا قاعده‌ی متمم درست رعایت شود؛ سپس مقادیر نگه‌داشته‌شده بر یک منهای p تقسیم می‌شوند. گام رو به عقب (backward pass) نیز گرادیان ورودی را در همان ماسک ضرب و بر همان ضریب تقسیم می‌کند.

انتظار تابع ارزیابی

تابع ارزیابی در حلقه‌ی آموزش، تعداد مشخصی از دسته‌های اعتبارسنجی را بدون گرادیان و بدون دراپ‌اوت اجرا می‌کند؛ این خروجی عددی باید در اجراهای مختلف با seed و تفکیک داده‌ی (split) یکسان، دقیقاً تکرارپذیر باشد. هرگونه تصادفی بودن درون مدل در طول این گام، مقایسه‌ی میان دو اجرا را از بین می‌برد؛ چرا که تفاوت حاصل، نشان‌دهنده‌ی تغییر دنباله‌ی تصادفی است نه تغییر عملکرد مدل. مدل ارائه‌شده در درس سرهم‌بندی، دراپ‌اوت امبدینگ 0.1 دارد؛ بنابراین این لایه در مسیر تمام ارزیابی‌ها قرار می‌گیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اصلاً چرا حین آموزش بر یک منهای p تقسیم می‌کنیم؟ پاسخ مورد انتظار: تا امید ریاضی هر اکتیویشن با ماسک و بدون ماسک یکسان بماند و استنتاج به یک تابع همانی تبدیل شود.
  • سطح 2: چرا گام رو به عقب باید دقیقاً از همان ماسک استفاده کند؟ پاسخ مورد انتظار: گرادیان فقط باید از همان واحدهایی که حفظ شده بودند و با همان مقیاس عبور کند؛ در غیر این صورت گرادیان با محاسبات گام رو به جلو همخوانی نخواهد داشت.
  • سطح 3: ارزیابی تکرارپذیر است اما هنوز با اجرایی که آزمون ارزیابی را نادیده گرفته تفاوت دارد. چه چیز دیگری عدد تصادفی مصرف می‌کند؟ پاسخ مورد انتظار: تولید نمونه در گام آزمون ارزیابی، از مولد اشتراکی عدد می‌کشد؛ باید به آزمون ارزیابی یک مولد اختصاصی بدهید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همانند مقاله‌ی اصلی دراپ‌اوت، در زمان استنتاج مقیاس را کاهش دهید.» آن روش مقیاس‌بندی حین آموزش را حذف می‌کند؛ ترکیب این دو فرم باعث افت شدید اکتیویشن‌ها می‌شود.
  • «پیش از هر ارزیابی، seed مولد را دوباره تنظیم کنید.» این کار مصرف اعداد تصادفی اضافی را پنهان می‌کند اما باز هم دنباله‌ی تصادفی مراحل آموزش بعدی را تغییر می‌دهد؛ مسیر استنتاج اصلاً نباید عددی از مولد بکشد.
  • «هرگاه عدد تصادفی کمتر از p بود، مقدار را نگه دارید.» این کار کسری معادل p را نگه می‌دارد و بقیه را حذف می‌کند که دقیقاً متممِ ماسکِ مدنظر است.

کجای دوره آموزش داده می‌شود

درس حلقه‌ی آموزش الزام می‌کند که ارزیابی فاقد گرادیان و دراپ‌اوت باشد، درس سرهم‌بندی مدل GPT دراپ‌اوت امبدینگ را پیاده می‌کند و تمرین دراپ‌اوت معکوس رفتار همانی در استنتاج را می‌سنجد.