سؤال مصاحبه

تغییر دقت آزمون با وجود ثابت بودن وزن‌ها

Test accuracy that changes with the same weights

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

یک مدل ذخیره‌شده را هر بار با همان وزن‌ها روی مجموعه‌ی آزمون یکسانی ارزیابی می‌کنید، اما دقت متفاوتی به دست می‌آید. داده‌خوان (Data loader) هم داده‌ها را بر نمی‌زند (Shuffle نمی‌کند). محتمل‌ترین علت چیست و پای کدام دو لایه در میان است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدل هنگام آزمون هنوز در حالت آموزش (Training mode) است. دراپ‌اوت (Dropout) مدام واحدهای تصادفی را صفر می‌کند؛ در نتیجه در هر گذر رو به جلو (Forward pass)، زیرشبکه‌ی متفاوتی اجرا می‌شود. از سوی دیگر، نرمال‌سازی دسته‌ای (Batch Normalization) به‌جای استفاده از میانگین‌های متحرک، کماکان میانگین و واریانس دسته‌ی فعلی را به کار می‌برد. پیش از استنتاج (Inference)، مدل را به حالت ارزیابی (Evaluation mode) ببرید و ردیابی گرادیان (Gradient tracking) را خاموش کنید.

پاسخ کامل

دو لایه‌ای که رفتارشان بر اساس حالت مدل تغییر می‌کند

لایه حالت آموزش حالت ارزیابی
دراپ‌اوت صفر کردن هر واحد با احتمال p و مقیاس‌بندی بقیه با ضریب 1 تقسیم بر (1 - p) عبور دادن تمام مقادیر بدون تغییر
نرمال‌سازی دسته‌ای نرمال‌سازی با میانگین و واریانس دسته، به‌روزرسانی میانگین‌های متحرک نرمال‌سازی با میانگین‌های متحرک

هر دو لایه یک پرچم (Flag) را می‌خوانند: پرچم آموزش ماژول. در فریم‌ورک کوچک، متدهای train و eval در نگه‌دارنده‌ی ترتیبی (Sequential Container)، این پرچم را هم روی خود نگه‌دارنده و هم روی تک‌تک ماژول‌های درون آن تنظیم می‌کنند. یک فریم‌ورک واقعی هم دقیقاً همین کار را با model.train() و model.eval() انجام می‌دهد.

چرا دقت تغییر می‌کند؟

وقتی دراپ‌اوت فعال است، هر گذر رو به جلو یک ماسک جدید می‌سازد؛ بنابراین ورودی یکسانْ خروجی متفاوتی می‌دهد و برخی پیش‌بینی‌ها حول آستانه (Threshold) جابه‌جا می‌شوند. از طرفی وقتی آماره‌های دسته‌ای فعال باشند، هر پیش‌بینی به این بستگی دارد که چه سطرهای دیگری در دسته‌ی (Batch) آن قرار گرفته‌اند؛ علاوه‌براین، واریانس یک دسته‌ی 1تایی برابر صفر است و این موضوع نرمال‌سازی را بی‌معنا می‌کند. درس اصلی، فراموش کردن فراخوانی eval را یکی از رایج‌ترین باگ‌های یادگیری عمیق (Deep learning) می‌داند و این نشانه، امضای همین باگ است.

راه‌حل و تصویر آینه‌ای آن

پیش از استنتاج، eval را فراخوانی کنید و گذر مدل را درون no_grad بگذارید که باعث صرفه‌جویی در حافظه هم می‌شود. سپس قبل از شروع دور (Epoch) بعدی، دوباره train را صدا بزنید. باگ معکوس این حالت هم به همان اندازه رایج است: مدلی که پس از اعتبارسنجی (Validation) در حالت ارزیابی رها شده باشد، با دراپ‌اوت خاموش و آماره‌های متحرک (Running Statistics) فریز‌شده آموزش می‌بیند؛ در نتیجه منظم‌سازی (Regularization) خود را از دست می‌دهد و آماره‌های استنتاج آن کهنه و نامعتبر می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: دراپ‌اوت در حالت ارزیابی چه کار می‌کند؟ پاسخ مورد انتظار: هیچ کاری؛ تمام مقادیر را بدون تغییر عبور می‌دهد، چون مقیاس‌بندی قبلاً در زمان آموزش اعمال شده است.
  • سطح 2: چرا نرمال‌سازی دسته‌ای در زمان آزمون نمی‌تواند برای دسته‌ای با اندازه‌ی 1 از آماره‌های دسته استفاده کند؟ پاسخ مورد انتظار: واریانس یک نمونه صفر است، پس آماره‌ها بی‌معنا می‌شوند؛ بنابراین باید از میانگین‌های متحرک استفاده کرد.
  • سطح 2: یک نگه‌دارنده چگونه حالت را به فرزندان خود منتقل می‌کند؟ پاسخ مورد انتظار: متدهای train و eval آن، پرچم را روی خود نگه‌دارنده و تک‌تک ماژول‌های درون آن تنظیم می‌کنند.
  • سطح 3: اگر بعد از اعتبارسنجی فراموش کنید مدل را به حالت آموزش برگردانید، در دور بعدی چه اتفاقی می‌افتد؟ پاسخ مورد انتظار: دراپ‌اوت خاموش می‌ماند و نرمال‌سازی دسته‌ای به‌روزرسانی آماره‌های متحرک خود را متوقف می‌کند؛ بنابراین مدل بدون منظم‌سازی آموزش می‌بیند و آماره‌های استنتاج آن کهنه می‌شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «قبل از هر ارزیابی، مقدار seed تصادفی تعیین کنید.» این کار فقط صورت‌مسئله را پاک می‌کند؛ مدل همچنان با دراپ‌اوت و آماره‌های دسته‌ایِ فعال ارزیابی می‌شود، بنابراین دقت نادرست است و فقط این نادرستی تکرارپذیر شده است.
  • «محاسبات GPU قطعی (Deterministic) نیستند، این اتفاق طبیعی است.» این عدم‌قطعیت تفاوت‌هایی بسیار ناچیزتر از تغییر یک پیش‌بینی ایجاد می‌کند، نه تغییر مداوم دقت.
  • «دراپ‌اوت را از معماری حذف کنید.» دراپ‌اوت یک منظم‌ساز برای زمان آموزش است؛ راه‌حل، تغییر حالت مدل است، نه پاک کردن لایه.

کجای دوره آموزش داده می‌شود

درس منظم‌سازی هر دو لایه را در هر دو حالت می‌سازد و درس فریم‌ورک کوچک پرچم آموزش را به تک‌تک ماژول‌ها اضافه می‌کند.