تیم شما بودجهای برای جمعآوری دادههای SFT (تنظیم دقیق نظارتشده یا Supervised Fine-Tuning) جهت ساخت یک دستیار جدید در اختیار دارد. یک طرح، خرید یک میلیون جفت پرسش و پاسخِ استخراجشده از وب (Scraped) است. طرح دیگر، پرداخت هزینه به نویسندگان ماهر برای تولید مجموعهای بسیار کوچکتر است. شما کدام طرح را انتخاب میکنید و چطور از انتخابتان دفاع میکنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مجموعهی کوچکترِ نوشتهشده به دست نویسندگان ماهر را انتخاب کنید. SFT یک الگوی رفتاری را آموزش میدهد، نه حقایق جدید را؛ بنابراین چند هزار تا چند ده هزار نمونهی تمیز کاملاً کافی است. نقاط مرجع این درس عبارتاند از: حدود 27,000 نمونهی گلچینشده برای مرحلهی اول SFT در یک مدل چت متنبازِ مطرح، و 52,000 جفتدادهی تولیدشده که حدود 600 دلار هزینه داشت و یک دستیار کاربردی تحویل داد. نویز موجود در جفتدادههای استخراجشده، دقیقاً با همان وزنِ نمونههای خوب، بهعنوان رفتار به مدل آموخته میشود.
پاسخ کامل
چرا یک مجموعهی کوچک کافی است
مدل پایه از قبل و طی پیشآموزش (Pretraining)، زبان و حقایق را یاد گرفته است. SFT صرفاً یک توانایی نهفته را متمرکز میکند: وقتی نشانگر نقش دستیار ظاهر شد، پاسخ بده. این الگو به نمونههای بسیار کمتری نسبت به یادگیری حقایق نیاز دارد. این درس بازهی 20,000 تا 100,000 جفتدادهی دستساز را برای تبدیل یک مدل پایه به یک دستیار معرفی میکند، و به پژوهشی اشاره دارد که در آن 1,000 نمونهی گلچینشده و دقیق با مجموعههای بسیار بزرگتر برابری کردند.
چرا آسیب نویز بیشتر از فایدهی آن است
هر نمونه یک هدف یادگیری است. پاسخهای مبهم، غلط یا بیادبانه در یک مجموعهی استخراجشده از وب، رفتار مبهم، غلط یا بیادبانه را به مدل یاد میدهند؛ ضمن اینکه مدل هیچ راهی برای تشخیص نمونههای قابل اعتماد ندارد. SFT هیچ مفهومی از «پاسخ بهتر» ندارد. این مقایسه دقیقاً همان چیزی است که تنظیم ترجیحات (Preference tuning) بعداً اضافه میکند.
کیفیت در عمل به چه معناست
- تنوع در وظیفهها و قالبها، نه تکرار زیادِ یک ساختار ثابت.
- پاسخهایی که یک فرد دقیق مینویسد، با همان طول و لحنی که در محیط عملیاتی (Production) میخواهید.
- یک الگوی چت (chat template) یکدست، با نشانگرهای نقش یکسان در تمام نمونهها.
- فیلتری که پاسخهای بسیار کوتاه و نمونههایی با تنوع واژگانی پایین را قبل از آموزش حذف کند.
چه زمانی حجم بالا واقعاً کمک میکند
به محض اینکه قالب رفتاری آموخته شد، نمونههای تمیزِ بیشتر پوشش وظایف را گستردهتر میکنند. 70,000 گفتوگوی بهاشتراکگذاشتهشده که یک چتبات متنباز اولیه را آموزش دادند نشان میدهند که اگر دادهها از ابتدا ساختاری شبیه دستیار داشته باشند، حجم بالا کارساز خواهد بود. بین 2 تا 5 درصد از متن خام پیشآموزش را با دستهها (batches) مخلوط کنید تا مدل توانایی عمومی خود را حفظ کند.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: SFT چه چیزی را به مدل یاد نمیدهد؟ پاسخ مورد انتظار: حقایق جدید؛ اینها از پیشآموزش میآیند و SFT الگوی پاسخدهی را آموزش میدهد.
- سطح 2: چگونه قبل از آموزش متوجه میشوید که یک مجموعهداده رفتارهای نامطلوب را آموزش میدهد؟ پاسخ مورد انتظار: نمونهگیری و خواندن دادهها، امتیازدهی به طول پاسخ و تنوع واژگانی، بررسی نسبت دستور به پاسخ، و حذف دادههای دُم توزیع (Tail).
- سطح 2: بعد از SFT مدل بهخوبی پاسخ میدهد اما بخشی از توانایی کدنویسی خود را از دست داده است. چه تغییری در برنامهی دادهها این مشکل را حل میکند؟ پاسخ مورد انتظار: مخلوط کردن چند درصد متن خام پیشآموزش در دستههای SFT و کوتاه نگهداشتن مدت زمان اجرا.
- سطح 3: نویسندگان برای همهچیز پاسخهای طولانی و با جزئیات مینویسند. این کار چه خطری دارد؟ پاسخ مورد انتظار: مدل یاد میگیرد که طولانی بودن بخشی از الگو است، و تنظیم ترجیحات در مراحل بعد ممکن است این حالت را به پرحرفی بیش از حد تبدیل کند؛ طول پاسخ باید متناسب با محصول نهایی باشد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «در یادگیری ماشین (Machine learning)، دادهی بیشتر همیشه برنده است.» SFT یک قالب را روی مدلی پیاده میکند که از قبل محتوا را میداند؛ یک میلیون هدفِ پر از نویز، نویز را بهعنوان رفتار به مدل میآموزند.
- «دادههای تولیدشده بیارزش هستند و فقط نوشتههای انسان معتبرند.» 52,000 جفتدادهی تولیدشده در این درس با هزینهای حدود 600 دلار یک دستیار کاربردی ساختند؛ مسئله کنترل کیفیت است، نه منبع داده.
- «روی مجموعهی کوچک بیشتر آموزش دهید تا کمبود حجم آن جبران شود.» بیش از سه دور (Epoch) آموزش روی یک مجموعهی کوچک به حفظ کردن دادهها منجر میشود و مدل نمونههای آموزشی را کلمهبهکلمه تکرار خواهد کرد.
کجای دوره آموزش داده میشود
درس SFT اندازهی مجموعهدادههای دستوری واقعی را با هم مقایسه میکند و توضیح میدهد که چرا کیفیت مهمتر از کمیت است.