سؤال مصاحبه

ساخت طبقه‌بند هرزنامه با 800 پیام و یک بدنه‌ی از پیش‌آموزش‌دیده

A spam classifier from 800 messages and a pretrained body

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۲ دقیقه

یک مدل زبانی کوچکِ از پیش‌آموزش‌دیده (pretrained) و 800 پیام متنی برچسب‌دار در اختیار دارید که نیمی از آن‌ها هرزنامه (spam) و نیم دیگر غیرهرزنامه هستند. این طبقه‌بند (classifier) را طراحی کنید: چه بخش‌هایی را نگه می‌دارید، چه چیزهایی را جایگزین می‌کنید، کدام‌یک از دو رویکرد آموزشی را برمی‌گزینید، داده‌ها را چگونه تقسیم و ارزیابی می‌کنید، و در چه شرایطی رویکرد دیگر برنده خواهد شد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بدنه‌ی از پیش‌آموزش‌دیده را نگه دارید و هد (head) واژگان را با یک لایه‌ی خطی جایگزین کنید که روی بردار توالی حاصل از ادغام میانگین (mean pooling، وزن‌دهی‌شده با ماسک)، خروجی دو کلاس را بدهد. با 800 نمونه، فقط هد را با بدنه‌ی منجمد (frozen body) آموزش دهید: این روش سریع است، حافظه‌ی بسیار کمی می‌خواهد، به‌ندرت دچار بیش‌برازش (overfitting) می‌شود، و روی این مجموعه‌داده‌ی نمونه (fixture) پس از 20 دور (epoch) به حدود 0.9 دقت (precision) و 0.85 بازخوانی (recall) می‌رسد. فاین‌تیونینگ کامل (full fine-tuning) حدود سه برابر بیشتر طول می‌کشد و نتیجه‌اش تنها یکی دو درصد بالاتر یا پایین‌تر است؛ این روش در مقیاس 80,000 نمونه یا زمانی که دامنه‌ی داده‌ها از متن پیش‌آموزش فاصله زیادی بگیرد (دریفت کند)، ارزش خود را نشان می‌دهد.

پاسخ کامل

چه بخش‌هایی حفظ و چه بخش‌هایی جایگزین شوند

بدنه‌ی مدل از قبل هویت کلمات، موقعیت و هم‌آیی آن‌ها را کدگذاری کرده است. آموزش یک طبقه‌بند تازه از صفر روی 800 نمونه، این دستاورد را هدر می‌دهد. بخش نامناسب، هد مدل است: این بخش خروجی را به اندازه‌ی دایره‌ی واژگان نگاشت می‌دهد. آن را با یک لایه‌ی خطی جایگزین کنید که از عرض وضعیت پنهان (hidden state) به دو لاجیت (logit) روی بردار ادغام‌شده می‌رسد، و مدل را با آنتروپی متقاطع (cross-entropy) در برابر برچسب آموزش دهید.

ادغام

طبقه‌بند به ازای هر پیام به یک بردار نیاز دارد. ادغام میانگین که با ماسک اتنشن (attention mask) وزن‌دهی شده باشد، ساده‌ترین و پایدارترین انتخاب برای طول‌های مختلف متن است و به هیچ توکن خاصی هم نیاز ندارد. گزینه‌های جایگزین عبارت‌اند از: توکن کلاس (class token) در ابتدای متن (که بدنه باید از قبل با آن پیش‌آموزش دیده باشد) و آخرین توکنِ غیرپدینگ (که طبقه‌بندهای مدل‌های رمزگشا استفاده می‌کنند).

دو رویکرد، یک حلقه‌ی آموزش

رویکرد مجموعه‌ی قابل‌آموزش هزینه ریسک
فقط هد هد خطی سریع، مصرف حافظه نزدیک به صفر اگر دامنه از متن پیش‌آموزش فاصله زیادی داشته باشد، دچار کم‌برازش می‌شود
فاین‌تیونینگ کامل هد و بدنه حدود سه برابر طولانی‌تر روی داده‌های کم، دچار بیش‌برازش و فراموشی می‌شود

هر دو رویکرد با یک تابع آموزشی مشترک اجرا می‌شوند؛ این سوییچ فقط requires_grad را روی پارامترهای بدنه تغییر می‌دهد، بنابراین بهینه‌ساز در رویکرد اول فقط هد را می‌بیند.

داده‌ها و ارزیابی

داده‌ها را به نسبت 80 به 20 و به‌صورت طبقه‌بندی‌شده (stratified) تقسیم کنید تا مجموعه‌ی آزمون توازن 50/50 را حفظ کند: 640 نمونه برای آموزش و 160 نمونه برای آزمون. مقادیر دقت، بازخوانی و F1 را برای کلاس هرزنامه همراه با ماتریس درهم‌ریختگی (confusion matrix) گزارش کنید تا اعداد به‌عنوان برآوردهایی صادقانه قابل‌خواندن باشند. مجموعه‌داده‌ی نمونه متوازن و ساختگی است، بنابراین داده‌های واقعی نویز بیشتری خواهند داشت.

تصمیم نهایی

با 800 نمونه و یک بدنه‌ی بسیار کوچک، آموزش فقط هد تصمیم درستی است. با 80,000 نمونه و یک بدنه‌ی بزرگ‌تر، فاین‌تیونینگ کامل دست بالا را پیدا می‌کند. یک راه میانه هم خروج آخرین بلوک از حالت انجماد است؛ این کار هزینه‌ی کمتری نسبت به تیونینگ کامل دارد و یادگیری بیشتری نسبت به آموزش صرف هد به همراه می‌آورد. قرارداد اصلی همان API است، نه گزینه‌ی برنده: یک تابع آموزش، با یک سوییچ.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا بدنه‌ی منجمد در این حالت به‌ندرت دچار بیش‌برازش می‌شود؟ انتظار می‌رود: فقط تعداد اندکی از پارامترهای هد تغییر می‌کنند، بنابراین مدل نمی‌تواند 640 نمونه را از طریق بدنه حفظ کند.
  • سطح 2: چرا داده‌ها را به‌صورت طبقه‌بندی‌شده تقسیم می‌کنیم؟ انتظار می‌رود: برای اینکه مجموعه‌ی آزمون توازن کلاس‌ها را حفظ کند و دقت و بازخوانی معنای واقعی خود را نشان دهند.
  • سطح 3: برای این محصول، دقت مهم‌تر از بازخوانی است. چه تغییری در طراحی ایجاد می‌کنید؟ انتظار می‌رود: آستانه‌ی تصمیم‌گیری روی لاجیت هرزنامه تغییر کند؛ این آستانه روی یک مجموعه‌ی اعتبارسنجی (که از دل 640 پیام آموزشی جدا شده) انتخاب می‌شود تا بازخوانی فدای دقت شود و 160 پیام آزمون برای سنجش اعداد نهایی دست‌نخورده باقی بمانند؛ رویکرد آموزشی تغییری نمی‌کند.
  • سطح 3: پیام‌ها در دامنه‌ای هستند که بدنه هرگز ندیده است. کدام رویکرد و چرا؟ انتظار می‌رود: فاین‌تیونینگ کامل یا جزئی؛ چون ویژگی‌های منجمد دامنه‌ی جدید را پوشش نمی‌دهند و هد به‌تنهایی دچار کم‌برازش (underfitting) می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک طبقه‌بند کوچک را از صفر آموزش دهید؛ مدل در هر حال بسیار کوچک است.» این کار پیش‌آموزش را دور می‌ریزد و 800 نمونه برای یادگیری زبان از صفر بسیار کم است.
  • «همیشه همه‌چیز را فاین‌تیون کنید تا بهترین دقت را بگیرید.» روی داده‌های اندک، تیونینگ کامل دچار بیش‌برازش و فراموشی می‌شود و در ازای سه برابر هزینه‌ی بیشتر، نتیجه‌ای تولید می‌کند که تنها یکی دو درصد با آموزش صرف هد تفاوت دارد.
  • «از وضعیت پنهان آخرین توکن بدون ماسک استفاده کنید.» در توالی‌های پدینگ‌شده، این کار باعث ادغام یک موقعیت پدینگ می‌شود؛ ماسک باید آخرین توکن واقعی را انتخاب کند یا میانگین را وزن‌دهی کند.

کجای دوره آموزش داده می‌شود

در درس فاین‌تیونینگ طبقه‌بند، هر دو رویکرد روی مجموعه‌داده‌ی نمونه‌ی 800 پیامی پیاده‌سازی می‌شوند و دقت، بازخوانی و هزینه‌ی آن‌ها با یکدیگر مقایسه می‌شود.