سؤال مصاحبه

خطای آزمونی که افت می‌کند، اوج می‌گیرد و دوباره افت می‌کند

Test error that falls, spikes and falls again

  • سطح ۴: استف
  • مفهومی
  • ۱۵ دقیقه

تیمی مدام مدل خود را بزرگ‌تر می‌کند. خطای آزمون ابتدا افت می‌کند، سپس با نزدیک‌شدن تعداد پارامترها به تعداد سطرهای آموزشی ناگهان اوج می‌گیرد، و با ادامه‌ی این مسیر و بزرگ‌تر شدن مدل، دوباره افت می‌کند. منحنی کلاسیک Uشکل، جهش خطا را پیش‌بینی می‌کند اما افت دوم را نه. توضیح دهید که این منحنی چه چیزی را نشان می‌دهد و قاعده‌ای برای اندازه‌ی مدل به این تیم بدهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این جهش روی آستانه‌ی درون‌یابی (Interpolation Threshold) رخ می‌دهد؛ نقطه‌ای که ظرفیت مدل دقیقاً در حد انطباق بر تک‌تک سطرهای آموزشی است و ناچار می‌شود راه‌حلی خاص و به‌شدت حساس به نوفه (noise) را انتخاب کند؛ در نتیجه واریانس به اوج می‌رسد. پس از عبور از این نقطه، راه‌حل‌های بی‌شماری روی داده‌های آموزشی منطبق می‌شوند و منظم‌سازی (Regularization) ضمنی گرادیان کاهشی (gradient descent) راه‌حلی ساده را برمی‌گزیند؛ بنابراین خطا دوباره کاهش می‌یابد. این پدیده همان فرود دوگانه (Double Descent) است. قاعده این است: یا با منظم‌سازی صریح کاملاً پایین‌تر از آستانه بمانید، یا کاملاً از آن عبور کنید؛ بدترین جا برای ماندن، دقیقاً روی خود آستانه است.

پاسخ کامل

تصویر کلاسیک

خطای مورد انتظار برابر است با توان دوم اریبی (bias) به‌علاوه‌ی واریانس به‌علاوه‌ی نوفه‌ی کاهش‌ناپذیر. با رشد ظرفیت مدل، اریبی کاهش و واریانس افزایش می‌یابد و مجموع آن‌ها فقط یک کمینه دارد. قاعده‌ی کلاسیک این بود که افزایش ظرفیت فراتر از این نقطه، همیشه به مدل آسیب می‌زند.

سه رژیم رفتاری

رژیم پارامترها در برابر سطرها رفتار
دارای پارامتر کمتر از حد (Underparameterized) بسیار کمتر موازنه‌ی کلاسیک برقرار است
آستانه‌ی درون‌یابی تقریباً برابر واریانس اوج می‌گیرد، خطای آزمون جهش می‌کند
بیش‌ازحد پارامتری‌شده (Overparameterized) بسیار بیشتر منظم‌سازی ضمنی عمل می‌کند، خطای آزمون افت می‌کند

روی آستانه، مدل به‌سختی می‌تواند از تک‌تک نقاط آموزشی عبور کند و کوچک‌ترین تغییر در داده‌ها، برازش را به‌شدت تغییر می‌دهد. فراتر از این نقطه، داده‌های آموزشی دیگر مدل را به یک راه‌حل واحد محدود نمی‌کنند و الگوریتم یادگیری از میان گزینه‌های متعددی که داده را برازش می‌کنند، دست به انتخاب می‌زند. گرادیان کاهشی معمولاً گزینه‌ی ساده را انتخاب می‌کند و همین اریبی به سمت سادگی، دلیل تعمیم‌پذیری شبکه‌های عصبی (neural network) بسیار بزرگ است.

نکاتی که این درس اضافه می‌کند

  • این الگو در مدل‌های خطی، درخت‌های تصمیم (decision tree) و شبکه‌های عصبی دیده می‌شود.
  • در نزدیکی آستانه، داده‌ی بیشتر می‌تواند آسیب‌زننده باشد؛ چون افزودن سطرها آستانه را زیر پای یک مدل با اندازه‌ی ثابت جابه‌جا می‌کند. این حالت، شکل مبتنی بر نمونه (sample-wise) است. آموزش طولانی‌تر در طول دوره‌ها (epochs) هم می‌تواند همین منحنی را بسازد.
  • منظم‌سازی، قله را هموار و کوتاه‌تر می‌کند اما آن را از بین نمی‌برد.

قاعده برای تیم

محل آستانه را بسنجید: جایی که خطای آموزش به صفر می‌رسد و خطای آزمون تقریباً در همان اندازه به اوج می‌رسد. سپس اندازه‌ی مدل را با فاصله‌ای زیاد از این آستانه انتخاب کنید؛ چه پایین‌تر از آن و چه بالاتر. پایین‌تر از آن، از منظم‌سازی صریح و ابزارهای تشخیصی کلاسیک استفاده کنید. بالاتر از آن، به مسیر ادامه دهید و به‌جای شهود کلاسیک، خروجی را با منحنی‌های یادگیری (Learning Curve) ارزیابی کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چگونه این آستانه را در لاگ آموزش تشخیص می‌دهید؟ پاسخ مورد انتظار: خطای آموزش به صفر می‌رسد و خطای آزمون تقریباً در همان اندازه‌ی مدل یا دوره‌ی آموزشی در بدترین حالت خود قرار می‌گیرد.
  • سطح 4: چرا افزودن داده در این رژیم ممکن است آسیب بزند؟ پاسخ مورد انتظار: سطرهای بیشتر، آستانه را جابه‌جا می‌کنند؛ در نتیجه مدلی با اندازه‌ی ثابت که از آستانه گذشته بود، ممکن است دوباره درست روی آن بیفتد؛ این همان شکل مبتنی بر نمونه است.
  • سطح 4: منظم‌سازی چه اثری روی قله می‌گذارد؟ پاسخ مورد انتظار: قله را هموارتر و کوتاه‌تر می‌کند، اما آن را حذف نمی‌کند.
  • سطح 4: آیا این موضوع موازنه‌ی اریبی-واریانس را باطل می‌کند؟ پاسخ مورد انتظار: خیر؛ این موازنه در پایین آستانه معتبر است و فقط در بالای آستانه ناقص است، جایی که اریبی ضمنی بهینه‌ساز هدایت کار را به دست می‌گیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «افت دوم ناشی از خطای اندازه‌گیری است.» این پدیده در مدل‌های خطی، درخت‌ها و شبکه‌ها، و در هر دو شکل مبتنی بر نمونه و مبتنی بر دوره‌ی آموزش رخ می‌دهد.
  • «مدل را تا جایی که بودجه اجازه می‌دهد بزرگ کنید و دیگر به آن فکر نکنید.» بزرگ‌تر کردن مدل فراتر از آستانه جواب می‌دهد، اما نشستن روی خود آستانه بدترین نتیجه را دارد؛ اندازه‌ی مدل را آگاهانه و دور از آستانه تعیین کنید.
  • «منظم‌سازی مشکل را برطرف می‌کند.» منظم‌سازی قله را هموار و کوتاه‌تر می‌کند؛ آن را از بین نمی‌برد.

کجای دوره آموزش داده می‌شود

درس اریبی-واریانس این تجزیه را به دست می‌آورد و فرود دوگانه و سه رژیم رفتاری آن را توصیف می‌کند.