مدلی که فاینتیون کردهاید، پس از افزودن یک پیکره متنی (Corpus) جدیدِ استخراجشده از وب به ترکیب دادههای آموزشی، روی یک بنچمارک عمومی 8 امتیاز جهش داشته است. مدیران میخواهند این موضوع را عمومی اعلام کنند. فرایند بازرسی و ممیزی دقیقی طراحی کنید که مشخص کند این جهش ناشی از افزایش قابلیتهای مدل است یا نشت داده (leakage)؛ همچنین مشخص کنید اگر پای نشت داده در میان باشد، بهجای آن چه چیزی منتشر خواهید کرد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
پیش از آنکه کسی چیزی را اعلام کند، نرخ آلودگی (Contamination) را ارزیابی کنید. پیکره متنی جدید را برای یافتن پرسشهای بنچمارک و بازنویسیهای بسیار نزدیک به آنها جستجو کنید و سهم موارد پیداشده را گزارش دهید. سپس مدل را دوباره روی یک مجموعهی ارزیابی اختصاصی و نسخهبندیشده اجرا کنید که محتوای پیکره متنی امکان ندارد در آن باشد؛ در ادامه، تفاوتهای بازنگری (Diff) هر یک از تستکیسها را نسبت به مدل قبلی بررسی کنید. اگر میزان همپوشانی (Overlap) چشمگیر باشد و ارزیابی اختصاصی تغییری نکرده باشد، این جهش ناشی از حفظ کردن دادهها است؛ در این صورت، باید نتیجهی ارزیابی اختصاصی را همراه با نرخ آلودگی منتشر کنید.
پاسخ کامل
چرا این جهش مشکوک است؟
پیکرههای متنی آموزشی وب را میکاوند و پرسشهای بنچمارک هم روی وب قرار دارند؛ نیازی به داشتن نیت (Intent) قبلی نیست. یک پیکره متنی جدیدِ حاصل از وباسکرپینگ، محتملترین مسیر برای ورود دادههای آزمون به مرحلهی آموزش است؛ از طرفی، یک بنچمارک اشباعشده (Saturation)، حفظ کردن طوطیوار را با جهشهای امتیازی بزرگ پاداش میدهد. در همین درس، آموزشِ صرف برای آزمون (Teaching to the test) و اشباع بنچمارک، به عنوان دو سازوکار دیگری معرفی شدهاند که بدون تغییر در قابلیتهای مدل، نمرهی آن را جابهجا میکنند.
مراحل بازرسی و ممیزی
- جستجوی نرخ آلودگی: بررسی کنید چه درصدی از پرسشهای ارزیابی یا بازنویسیهای نزدیک به آنها در پیکره متنی جدید وجود دارند. موارد تطابق دقیق (Exact Match) و تطابقهای تقریبی را بهطور جداگانه همراه با روش کار گزارش کنید.
- بررسی تفاوتهای بازنگری مدل: دو نسخهی مدل را موردبهمورد مقایسه کنید: کدام موارد بهبود یافتهاند، در کدام موارد پسرفت داشتهایم و کدام موارد ثابت ماندهاند. اگر بهبودها دقیقاً روی مواردی متمرکز باشند که جستجو پیدا کرده است، این مقایسهی تفاوتها منبع نشت داده را فاش میکند.
- ارزیابی اختصاصی: هر دو مدل را روی مجموعهی آزمون اختصاصی و نسخهبندیشدهی خودتان که حداقل شامل 200 نمونه همراه با حالتهای خاص (Edge cases) است اجرا کنید؛ این مجموعه باید کاملاً از همهی دادههای آموزشی و نمونههای داخل پرامپت (Prompt) جدا نگه داشته شود. یک پیشرفت واقعی خودش را با یک بازهی اطمینان در اینجا نشان میدهد؛ اما نشت داده تغییری ایجاد نمیکند.
- بررسی جداسازی دادهها: مطمئن شوید هیچ نمونهی ارزیابیای با نمونههای داخل پرامپت یا دادههای فاینتیونینگ همپوشانی نداشته باشد؛ چراکه نمونهی آزمونی که دادهی آموزشی هم بوده، صرفاً میزان حفظ کردن را میسنجد.
چه چیزی باید منتشر شود؟
آمارهای ارزیابی اختصاصی به همراه بازههای اطمینان، نرخ آلودگی و روش سنجش آن، و نمرهی بنچمارک همراه با این قید و هشدار. هرگز نمرهی خام بنچمارک را به تنهایی منتشر نکنید. همچنین، مرحلهی حذف دادههای تکراری (Deduplication) را به پایپلاین (Pipeline) آموزش اضافه کنید تا پیکره متنی بعدی پیش از شروع آموزش، در برابر تمام مجموعههای ارزیابی بررسی شود.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: جستجو، موارد تطابق دقیق را در سهم کوچکی از دادهها و بازنویسیها را در موارد بیشتری پیدا میکند. کدامیک باید به حساب بیایند؟ پاسخ مورد انتظار: هر دو؛ بازنویسیها هم پاسخ را لو میدهند، بنابراین تطابقهای دقیق و تقریبی را جداگانه همراه با روش کار گزارش دهید.
- سطح 3: نمرهی ارزیابی اختصاصی هم بالا رفته است. آیا جهش واقعی است؟ پاسخ مورد انتظار: احتمال آن بیشتر است؛ البته به شرطی که این مجموعه نسخهبندیشده باشد، کاملاً از دادههای آموزشی جدا بماند و آنقدر بزرگ باشد که رشد نمره از بازهی خطای آن فراتر برود.
- سطح 4: دفعهی بعد چگونه جلوی این ابهام را میگیرید؟ پاسخ مورد انتظار: پیش از آموزش، نمونههای تکراری پیکرههای متنی آموزشی را در مقایسه با تمام مجموعههای ارزیابی حذف کنید، دادههای ارزیابی را دور از پرامپتها و دادههای فاینتیونینگ نگه دارید و گزارش این بررسی را در گزارش آموزش ثبت کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «ما بنچمارک را عمداً وارد نکردهایم، پس دادهها تمیز هستند.» اسکرپ کردن در مقیاس وب بدون هیچ نیتی آن را وارد میکند؛ در درس آمده که این مسیرِ معمول برای رخ دادن آلودگی است.
- «جهش 8 امتیازی بزرگتر از آن است که نویز باشد.» گزینهی مقابل نویز نیست، بلکه حفظ کردن دادهها است؛ و این مسئله جهشهای بزرگی ایجاد میکند.
- «بنچمارک را اعلام کنیم و قید و شرطها را بعداً میآوریم.» ارزیابی اختصاصی را همراه با بازههای اطمینان و نرخ آلودگی منتشر کنید؛ نمرهی خام بنچمارک ادعایی است که نمیتوانید از آن دفاع کنید.
کجای دوره آموزش داده میشود
درس ارزیابی نرخ آلودگی را شرح میدهد و تمرینهای تشخیص آلودگی و بررسی تفاوتهای بازنگری مدل را ارائه میکند، و درس ارزیابی و آزمون نسبت به آزمون روی نمونههای آموزشی هشدار میدهد.