سؤال مصاحبه

بررسی 30 ثانیه‌ای پیش از آغاز یک آموزش چندروزه

The 30 second check before a multi-day run

  • سطح ۳: ارشد
  • طراحی
  • ۱۰ دقیقه

می‌خواهید یک اجرای آموزشی چندروزه را روی معماری جدیدی با یک پایپ‌لاین (pipeline) داده‌ی تازه شروع کنید. بررسی کوتاهی طراحی کنید که حدود 30 ثانیه طول بکشد و حتماً باید پیش از شروع آموزش پاس شود. خطاهایی را که این بررسی شناسایی می‌کند و مواردی را که از زیر دستش درمی‌روند فهرست کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک دسته‌ی (batch) کوچک شامل 8 تا 32 نمونه بردارید و مدل را صرفاً روی همین یک دسته برای چندصد گام آموزش دهید. تابع زیان (loss) باید تا نزدیکی صفر افت کند و دقت آموزش به 100 درصد برسد. قبولی در این بررسی نشان می‌دهد که تابع زیان، گام رو به عقب (backward pass) و اتصال بهینه‌ساز درست کار می‌کنند و مدل می‌تواند روی این دسته برازش شود، اما تضمین نمی‌کند که هر ورودی برچسب درستی داشته باشد؛ چراکه مدل می‌تواند تناظرهای اشتباه اما یکدست را هم حفظ کند. این بررسی هیچ‌چیزی درباره‌ی تعمیم‌پذیری، نشت داده (leakage) یا لودر کل داده‌ها نشان نمی‌دهد؛ به همین دلیل اولین دروازه‌ی ورودی است، نه آخرینِ آن‌ها.

پاسخ کامل

آزمون

درس خطایابی این روش را مهم‌ترین تکنیک یادگیری عمیق (deep learning) می‌داند. یک دسته داده را ثابت نگه دارید، یک مدل و بهینه‌ساز تازه بسازید و این حلقه را تکرار کنید: صفر کردن گرادیان‌ها (gradient)، گذر رو به جلو (forward pass)، محاسبه‌ی تابع زیان، گام رو به عقب و اِعمال گام بهینه‌ساز. مقدار تابع زیان و دقت را هر 50 گام یک‌ بار چاپ کنید. در پیاده‌سازی این درس، مدل 200 گام اجرا می‌شود و اگر تابع زیان نهایی بالای 0.1 بماند، تست مردود به شمار می‌آید.

مردودی نشانه چیست؟

هرکدام از این موارد که در متن درس هم فهرست شده‌اند:

  • تابع زیانی که با لایه‌ی خروجی هم‌خوانی ندارد؛
  • اختلال در گام رو به عقب یا جدا شدن گراف محاسباتی (detached graph)؛
  • ساخت بهینه‌ساز پیش از ایجاد پارامترهای مدل، به‌طوری‌که هیچ پارامتری به‌روزرسانی نمی‌شود؛
  • ناهماهنگی بین ترتیب ورودی‌ها و برچسب‌ها؛
  • کوچک بودن بیش از حد معماری مدل، تا حدی که حتی توان بازنمایی همین یک دسته را هم ندارد.

هر یک از این خطاها کل فرایند آموزش اصلی را هم مختل می‌کند؛ با این تفاوت که آن‌جا چند ساعت بعد خود را به‌شکل یک تابع زیان با افت کُند یا ثابت با بیست علت بالقوه نشان می‌دهد، در حالی که این‌جا ظرف چند ثانیه و تنها با پنج علت احتمالی مشخص می‌شود.

قبولی چه مواردی را ثابت نمی‌کند؟

این آزمون بر اساس بیش‌برازش تعمدی طراحی شده است؛ بنابراین هیچ شناختی از تعمیم‌پذیری مدل ارائه نمی‌دهد. مدل می‌تواند هر برچسب‌گذاریِ دارای ثباتی را حفظ کند؛ از این رو حتی تناظر کاملاً غلط اما هماهنگ بین ورودی‌ها و برچسب‌ها در این دسته‌ی ثابت نیز از آزمون عبور می‌کند. چون فقط از یک دسته استفاده می‌شود، مشکلاتی نظیر بُر زدن (shuffle) نادرست که تناظر ورودی‌ها و برچسب‌ها را در کل مجموعه‌داده به هم می‌ریزد، نرمال‌سازی محاسبه‌شده روی کل مجموعه‌داده، سطرهای تکراری میان بخش‌های مختلف داده، یا نویز برچسب‌ها همگی از دید این تست پنهان می‌مانند. چک‌لیست این درس پس از این آزمون ادامه دارد: چاپ خلاصه‌ی مدل و بررسی تعداد پارامترها، یک بار گذر رو به جلو با داده‌های تصادفی و بررسی ابعاد خروجی، 5 دوره آموزش برای اطمینان از افت تابع زیان، بررسی آماری فعال‌سازها برای شناسایی لایه‌های مرده یا انفجاری، بررسی جریان گرادیان در لایه‌ها، و چاپ 5 نمونه‌ی تصادفی به‌همراه برچسب‌هایشان.

تبدیل آزمون به یک دروازه

این آزمون را هنگام راه‌اندازی روی یک دسته‌ی ثابت اجرا کنید؛ با یک شرط (assert) مطمئن شوید تابع زیان نهایی زیر آستانه (threshold) قرار می‌گیرد و در صورت مردودی، از شروع اجرای طولانی جلوگیری کنید. هر زمان که معماری یا پایپ‌لاین تغییر کرد، دوباره آن را اجرا کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: مقدار تابع زیان روی این یک دسته بسیار بالاتر از آستانه متوقف شده است. سه متهم اصلی را نام ببرید. پاسخ مورد انتظار: عدم تطابق تابع زیان با لایه‌ی خروجی، ساخته شدن بهینه‌ساز پیش از ایجاد پارامترهای مدل، یا بیش از حد کوچک بودن مدل برای برازش روی این دسته.
  • سطح 3: چرا بین 8 تا 32 نمونه؟ پاسخ مورد انتظار: به اندازه‌ای کوچک است که یک مدل سالم بتواند ظرف چندصد گام آن را کاملاً حفظ کند؛ بنابراین مردودی در آن بی‌ابهام بوده و آزمون سریع باقی می‌ماند.
  • سطح 4: آزمون با موفقیت پاس می‌شود، اما بعداً در اجرای اصلی، دقت آموزش در حد حدس تصادفی می‌ماند. این قبولی چه احتمالاتی را رد می‌کند و چه مواردی باقی می‌مانند؟ پاسخ مورد انتظار: مدل و حلقه‌ی آموزش توانایی یادگیری دارند؛ بنابراین مشکل به مسیر داده‌ها در کل مجموعه مربوط می‌شود: بُر زدنی که تناظر ورودی و برچسب را از بین می‌برد، یا نرمال‌سازی متفاوتی که برای کل داده‌ها محاسبه شده است.
  • سطح 4: چطور این بررسی را به یک گیت محافظ در اسکریپت آموزش تبدیل می‌کنید؟ پاسخ مورد انتظار: در زمان راه‌اندازی، آن را روی یک دسته‌ی ثابت اجرا کنید، با assert مطمئن شوید تابع زیان نهایی زیر آستانه است، در صورت شکست مانع شروع آموزش طولانی شوید و هر زمان معماری یا پایپ‌لاین تغییر کرد دوباره اجرایش کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «قبولی در این تست یعنی مدل تعمیم‌پذیر خواهد بود.» این آزمون فقط ثابت می‌کند مدل توانایی حفظ کردن یک دسته را دارد؛ تعمیم‌پذیری نیازمند بررسی منحنی اعتبارسنجی (validation curve) است.
  • «نیازی به این کار نیست، اجرای اصلی خیلی زود مشکلات را نشان می‌دهد.» در اجرای اصلی، نشانه‌ها ساعت‌ها بعد مشخص می‌شوند و این علامت با دلایل متعددی هم‌خوانی دارد؛ اما این آزمون حلقه‌ی آموزش را ظرف چند ثانیه ایزوله و بررسی می‌کند.
  • «به‌جای آن، مدل را چند دوره روی کل داده‌های آموزش اجرا کنیم.» این همان اجرای اصلی است؛ استفاده از یک دسته‌ی کوچک است که شناسایی خطا را بی‌ابهام و سریع می‌کند.

کجای دوره آموزش داده می‌شود

در درس خطایابی، این آزمون پیاده‌سازی شده، مواردی که شناسایی می‌کند فهرست شده‌اند و به‌عنوان نخستین گام در چک‌لیست پیش از آموزش قرار گرفته است.