سؤال مصاحبه

جستجوی شبکه‌ای نرخ یادگیری اوج و تشخیص واگرایی

Sweep the peak learning rate and mark divergence

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۲۵ دقیقه

پیش از شروع یک فرایند آموزش طولانی، از شما خواسته می‌شود نرخ یادگیری اوج (peak learning rate) را برای یک برنامه‌ی زمان‌بندی کسینوسی (cosine schedule) همراه با گرم‌کردن (warmup) انتخاب کنید. اسکریپت جستجوی شبکه‌ای (sweep) را بنویسید که یک مدل کوچک با سید تصادفی مشخص (seeded) را به ازای هر یک از نرخ‌های کاندید آموزش دهد، مشخص کند کدام اجراها واگرا شده‌اند، بهترین نرخ پایدار را برگزیند و کوچک‌ترین نرخی را که واگرا شده است گزارش کند. همچنین مفهوم دقیق «واگرایی» را در قالب کد مشخص کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

حلقه‌ی آموزش را با همان سید مشخص یک بار به ازای هر یک از نرخ‌های کاندید اجرا کنید و مقدار تابع زیان (loss) نهایی را همراه با تاریخچه‌ی زیان ثبت کنید. یک اجرا زمانی واگرا محسوب می‌شود که زیان نهایی آن متناهی (finite) نباشد یا مقدار زیان در طول آموزش رشد کرده باشد؛ نه صرفاً زمانی که مقدار آن NaN شود. بهترین نرخ، کمترین زیان نهایی را در میان اجراهای پایدار دارد (در صورت برابری زیان، نرخ کوچک‌تر انتخاب می‌شود) و کوچک‌ترین نرخ واگرا نیز به عنوان سقف گزارش می‌شود؛ زیرا نشان می‌دهد نرخ یادگیری اوج حداکثر تا کجا می‌تواند بالا برود.

پاسخ کامل

چرا اول سراغ نرخ یادگیری اوج می‌رویم؟

طبق توصیه‌ی درس برنامه‌ریزی زمان‌بندی، پیش از هر چیز دیگری باید نرخ اوج را جستجو کنید؛ زیرا حساس‌ترین پیچ تنظیم به شمار می‌رود و مقدار بهینه‌ی آن وابستگی ضعیفی به اندازه‌ی مدل دارد. جستجوی این مقدار روی یک مدل کوچک، یک پیشین (prior) بسیار قوی برای آموزش مدل بزرگ فراهم می‌کند. نسبت گام‌های گرم‌کردن و کف نرخ یادگیری اهمیت کمتری دارند و در مراحل بعد تنظیم می‌شوند.

جستجوی شبکه‌ای

def is_diverged(losses):
    final = losses[-1]
    return not np.isfinite(final) or final > losses[0]


def run_sweep(rates, train_fn, seed):
    results = {}
    for lr in rates:
        losses = train_fn(lr, seed)
        results[lr] = (losses[-1], is_diverged(losses))
    return results


def best_lr(results):
    stable = [(loss, lr) for lr, (loss, div) in results.items() if not div]
    return min(stable)[1] if stable else None


def smallest_diverging_lr(results):
    div = [lr for lr, (_, d) in results.items() if d]
    return min(div) if div else None

در تمام اجراها از یک سید یکسان استفاده می‌شود تا تنها تفاوت میان اجراها، خودِ نرخ یادگیری باشد. نتایج بر اساس نرخ یادگیری کلیدگذاری می‌شوند و فیلترِ واگرایی پیش از اعمال هرگونه argmin اجرا می‌شود؛ چرا که زیان نهایی NaN نه بزرگ‌تر مقایسه می‌شود و نه کوچک‌تر، و اگر فیلتر نشود ممکن است اشتباهاً انتخاب گردد. اگر تمام اجراها واگرا شوند، خروجی best_lr برابر با None خواهد بود و بازه‌ی جستجو باید به مقادیر پایین‌تر منتقل شود.

واگرایی به چه معناست؟

زیانی که در پایان آموزش متناهی بماند ولی مقدار آن از نقطه‌ی شروع بیشتر شده باشد نیز واگرایی محسوب می‌شود. یک اجرا می‌تواند در تمام طول جستجو مدام صعودی باشد و با این حال در انتها یک مقدار عددی برگرداند. اگر صرفاً متناهی بودن مقادیر را بررسی کنید، چنین اجرایی پایدار علامت می‌خورد و جستجوی شبکه‌ای نرخی را پیشنهاد می‌دهد که پس از اتمام فاز گرم‌کردن، اجرای طولانی مدل را به‌کلی به باد می‌دهد.

تحلیل نتایج

برنامه‌ی زمان‌بندی در پایان فاز گرم‌کردن به اوج می‌رسد و سپس به سمت کف نرخ یادگیری افت می‌کند. انتخاب اوجی که دقیقاً زیر کوچک‌ترین نرخ واگرا باشد تهاجمی است؛ در حالی که در نظر گرفتن یک حاشیه‌ی اطمینان پایین‌تر از آن، مدل را در برابر نُرم گرادیان‌های (gradient norm) پرنوسان گام‌های اولیه حفظ می‌کند. نُرم گرادیان را در اجرای منتخب کنار نرخ یادگیری ثبت کنید: در یک فاز گرم‌کردن دقیق، نُرم گرادیان همگام با افزایش نرخ یادگیری بالا می‌رود و سپس تثبیت می‌شود؛ اما اگر نرخ اوج بیش از حد بالا باشد، نُرم گرادیان بعد از گرم‌کردن نیز در مقادیر بالا باقی می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: دو نرخ یادگیری زیان نهایی کاملاً یکسانی داده‌اند. کدام را انتخاب می‌کنید؟ پاسخ مورد انتظار: نرخ کوچک‌تر؛ زیرا حاشیه‌ی امن بیشتری تا سقف واگرایی دارد.
  • سطح 3: چرا در عمل، اولین نرخ واگرا با دو تقسیم بر بیشینه‌ی انحنای تابع زیان مقایسه می‌شود؟ پاسخ مورد انتظار: در یک تابع زیان درجه دو، گرادیان کاهشی (gradient descent) تنها پایین‌تر از این مرز پایدار می‌ماند؛ بنابراین سقف اندازه‌گیری‌شده باید نزدیک به این مقدار باشد و هرگونه مغایرت، نشان‌دهنده‌ی باگ در فرایند جستجوی شبکه‌ای است.
  • سطح 4: اگر دوره‌ی گرم‌کردن به‌صورت تعداد ثابتی از گام‌ها تنظیم شود، چرا جستجوی شبکه‌ای روی یک اجرای کوتاه، نتیجه‌ی گمراه‌کننده‌ای برای اجرای طولانی خواهد داشت؟ پاسخ مورد انتظار: همان تعداد گام در یک اجرای طولانی، کسر بسیار کوچک‌تری از کل مسیر را تشکیل می‌دهد؛ در نتیجه اجرای طولانی تقریباً بلافاصله روی نرخ اوج قرار می‌گیرد؛ گرم‌کردن را همیشه به‌صورت کسری از کل گام‌ها تعیین کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخی را انتخاب کنید که در تمام اجراها کمترین زیان را دارد.» مقادیر NaN یا روندهای صعودی باید ابتدا فیلتر شوند، در غیر این صورت argmin ممکن است یک نرخ واگرا را برگرداند.
  • «یک اجرا تنها در صورتی واگرا شده که زیان آن NaN یا بی‌نهایت شود.» زیان متناهی که در طول اجرا رشد کرده باشد نیز نوعی واگرایی است که در اجرای طولانی هم خود را نشان خواهد داد.
  • «ابتدا طول دوره‌ی گرم‌کردن را جستجو کنید، چون از ابتدای آموزش محافظت می‌کند.» نرخ اوج حساس‌ترین پیچ تنظیم است؛ نسبت دوره‌ی گرم‌کردن بعد از آن بهینه‌سازی می‌شود.

کجای دوره آموزش داده می‌شود

در درس برنامه‌ی زمان‌بندی کسینوسی تأکید شده که ابتدا نرخ اوج را جستجو کنید و نُرم گرادیان را کنار نرخ یادگیری ثبت نمایید؛ همچنین در آزمایشگاه جستجوی شبکه‌ای نرخ یادگیری، این جستجو به همراه منطق تشخیص واگرایی پیاده‌سازی شده است.