سؤال مصاحبه

ضریب تعیین (R-squared) کمتر از صفر در مجموعه‌ی آزمون

An R-squared below zero on the test set

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

گزارش یک رگرسیون، ضریب تعیین منفی را روی مجموعه‌ی آزمون نشان می‌دهد. هم‌تیمی شما می‌گوید کد محاسبه‌ی معیار حتماً ایراد دارد، چون ضریب تعیین همیشه بین 0 و 1 است. چه پاسخی به او می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ضریب تعیین برابر است با یک منهای نسبت مجموع مربعات باقی‌مانده‌ها به مجموع کل مربعات حول میانگین. این معیار برای برازش کامل برابر 1، برای مدلی که فقط میانگین را پیش‌بینی می‌کند برابر 0، و اگر عملکرد مدل از این مقدار ثابت ضعیف‌تر باشد، کمتر از صفر می‌شود. مقدار منفی کاملاً واقعی و معتبر است و نشان می‌دهد مدل برازش‌شده روی این داده‌ها عملکرد بدتری نسبت به پیش‌بینی میانگین دارد.

پاسخ کامل

فرمول

R-squared = 1 - SS_res / SS_tot
SS_res = sum of (y_true - y_pred)^2
SS_tot = sum of (y_true - y_mean)^2

مجموع کل مربعات، خطای ساده‌ترین مدل ممکن است: مدلی که همیشه میانگین را پیش‌بینی می‌کند. هرگاه باقی‌مانده‌های مدل از این مقدار بزرگ‌تر شوند، نسبت آن‌ها از 1 بیشتر شده و مقدار معیار منفی می‌شود. این معیار هیچ حد پایینی ندارد.

چرا این اتفاق روی مجموعه‌ی آزمون می‌افتد؟

مدل روی مجموعه‌ی آموزش برازش شده است. در مجموعه‌ی آزمون، مدلی که دچار بیش‌برازش (Overfitting) روی داده‌های آموزش شده باشد، یا داده‌هایی که توزیع آن‌ها تغییر کرده است، می‌توانند پیش‌بینی‌هایی تولید کنند که فاصله‌شان تا مقادیر واقعی حتی از میانگین آزمون هم بیشتر باشد. به همین دلیل در درس ارزیابی مدل، یک خط مبنای (Baseline) میانگین را در کنار مدل چاپ می‌کنیم؛ مدل حتماً باید این خط مبنا را شکست دهد. آن خط مبنا از میانگین مقادیر هدف داده‌های آموزش استفاده می‌کند. مقدار این معیار تنها زمانی نزدیک به 0 می‌شود که میانگین داده‌های آزمون به میانگین داده‌های آموزش نزدیک باشد؛ اگر این دو میانگین تفاوت داشته باشند، مقدار آن به زیر 0 می‌رود.

با این عدد چه باید کرد؟

  1. آن را با ضریب تعیین داده‌های آموزش مقایسه کنید. مقدار بالای آن در آموزش و منفی شدنش در آزمون، نشانه‌ی بیش‌برازش یا جابه‌جایی توزیع بین دو مجموعه است.
  2. نحوه‌ی تقسیم داده‌ها را بررسی کنید. بُرزدن داده‌های سری زمانی قبل از تقسیم، یا برازش مقیاس‌بند (Scaler) روی کل داده‌ها، دو عدد کاملاً متفاوت تولید می‌کند.
  3. معیارهای RMSE و MAE را در کنار آن گزارش کنید. RMSE هم‌واحد با متغیر هدف است؛ در حالی که ضریب تعیین، کسری بدون مقیاس از واریانس را نشان می‌دهد. هر کدام از این‌ها به پرسش متفاوتی پاسخ می‌دهند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: مدلی که میانگین داده‌های آموزش را پیش‌بینی می‌کند، چه مقداری در مجموعه‌ی آزمون می‌گیرد؟ انتظار می‌رود: اگر میانگین داده‌های آزمون به میانگین داده‌های آموزش نزدیک باشد، مقداری نزدیک به 0 می‌گیرد؛ چون مجموع باقی‌مانده‌ها و مجموع کل تقریباً برابرند. اگر این دو میانگین با هم تفاوت داشته باشند، مقدار آن زیر 0 می‌رود.
  • سطح 2: ضریب تعیین آموزش بالاست اما مقدار آزمون منفی است. این اختلاف چه معنایی دارد؟ انتظار می‌رود: مدل روی داده‌های آموزش برازش شده و تعمیم نمی‌پذیرد؛ باید به بیش‌برازش یا تغییر توزیع بین دو مجموعه شک کرد.
  • سطح 2: چرا باید ضریب تعیین را در کنار RMSE گزارش کنیم؟ انتظار می‌رود: RMSE هم‌واحد با متغیر هدف است و اندازه‌ی خطای معمول مدل را نشان می‌دهد؛ ضریب تعیین کسری از واریانس و بدون واحد است.
  • سطح 3: متغیر هدف دنباله‌ی سنگین (Heavy tail) دارد. چه چیز دیگری را بررسی می‌کنید؟ انتظار می‌رود: MAE را در کنار MSE بررسی کنید؛ چون خطاهای مربعی باعث می‌شوند چند داده‌ی پرت بر هر دو معیار MSE و ضریب تعیین مسلط شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ضریب تعیین نمی‌تواند منفی باشد، پس کد باگ دارد.» این فرمول هیچ کران پایینی ندارد. مدلی که عملکردش بدتر از میانگین باشد، مقدار منفی تولید می‌کند.
  • «منفی بودن یعنی شیب خط منفی است.» ضریب تعیین باقی‌مانده‌ها را با واریانس حول میانگین مقایسه می‌کند و هیچ ارتباطی با علامت شیب ندارد.
  • «آن را در گزارش روی صفر ببندید (Clip کنید).» این کار این واقعیت را پنهان می‌کند که پیش‌بینیِ صرفاً مقدار میانگین، مدل را شکست می‌دهد.

کجای دوره آموزش داده می‌شود

درس رگرسیون خطی (Linear Regression) ضریب تعیین را تعریف می‌کند و درس ارزیابی مدل مدل را با خط مبنای میانگین مقایسه می‌کند.