تکلیف: شرکتی میخواهد بر پایهی یک مدل پایهی متنباز 8B، یک دستیار پشتیبانی بسازد. آنها حدود 50,000 گفتوگوی پشتیبانی گذشته به همراه امتیاز کاربران، دو کارت گرافیک 24 گیگابایتی و سه هفته زمان دارند. برنامهی پسآموزش (post-training) را در یک صفحه بنویسید: مراحل، دادههای هر مرحله، تنظیمات اولیه، معیارهای ارزیابی پس از هر مرحله و سه حالت شکست (failure modes) که جلوی آنها را میگیرید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
سه مرحله: اول، SFT با QLoRA روی گفتوگوهایی با بالاترین امتیاز در یک الگوی چت (chat template) یکسان، بهطوری که تابع زیان (loss) فقط روی نوبتهای گفتوگوی (turn) دستیار ماسک شده باشد؛ با نرخ یادگیری پایین برای یک تا سه دور (epoch) همراه با ترکیب چند درصد متن خام برای جلوگیری از افت کیفیت؛ سنجش با تابع زیان دادههای نگهداشتهشدهی (held-out) دستورالعمل، دریفت (drift) متن خام و بررسی کیفی نمونهها. دوم، DPO در برابر چکپوینت SFT بهمنزلهی مرجع منجمد، روی جفتهایی متشکل از پاسخهای دارای امتیاز بالا و پایین به همان پرامپت با مقدار بتای محافظهکارانه؛ سنجش با ارزیابی دوسویهکور جفتی و لگاریتم احتمال مطلق پاسخ برگزیده، نه حاشیهی آموزش. سوم، درگاه انتشار (release gate): مجموعهای ثابت از پرامپتها که بهصورت دوسویهکور ارزیابی میشوند، مجموعهی امتناع مدل (refusal)، و مقایسه با مدل پایه روی وظایفی که دادهها اصلاً پوشش ندادهاند. اقدامات بازدارنده عبارتند از: فراموشی فاجعهبار (catastrophic forgetting)، سوءاستفاده از طول پاسخ و تأیید بیجا در امتیازها، و بهینهسازی بیش از حد پروکسیِ ترجیحات.
پاسخ کامل
مرحلهی 0: دادهها
- تبدیل تکتک گفتوگوها به یک الگوی چت واحد، با پرامپت سیستمی ثابت.
- مجموعهی دادهی SFT: پاسخهای دارای بالاترین امتیاز، فیلترشده بر اساس طول، تنوع واژگان و نسبت تمیز دستورالعمل به پاسخ. چند دههزار نمونهی تمیز کافی است؛ مرحلهی مرجع SFT در درس از حدود 27,000 نمونه استفاده کرد.
- مجموعهی دادهی ترجیحات: برای پرامپتهایی که هم پاسخ با امتیاز بالا و هم با امتیاز پایین دارند، سهگانههای (triples) پرامپت، پاسخ برگزیده و مردود بسازید. در بخشهایی که داده کم است، پاسخ مردود را از مدل SFT نمونهبرداری کنید تا جفتها در توزیعِ مدل مرجع قرار گیرند. یک ارزیاب یا مدل اعتبارسنج (verifier) باید پیش از جفتسازی تأیید کند که هر پاسخِ نمونهبرداریشده حتماً بدتر از پاسخ برگزیده است؛ چون مدل SFT با پاسخهای عالی آموزش دیده و خروجیهای آن هم ممکن است به همان اندازه خوب باشند. هدفتان دستیابی به 5,000 تا 20,000 جفت داده باشد که DPO در آن بازه عملکرد خوبی دارد.
- یک مجموعهی ارزیابی کور از پرامپتهایی که هرگز در آموزش به کار نرفتهاند، بههمراه یک مجموعهی فراموشی از وظایف خارج از حوزهی پشتیبانی، مانند کدنویسی کوتاه و محاسبات ریاضی.
مرحلهی 1: SFT با QLoRA
دو کارت 24 گیگابایتی نمیتوانند آپدیت کامل این مدل را در خود جای دهند؛ آپدیت کامل یک مدل 7B با گرادیانها و وضعیت بهینهساز به حدود 56 گیگابایت حافظه نیاز دارد. QLoRA وزنهای پایه را 4 بیتی نگه میدارد و تطبیقدهندههایی (adapters) با رتبهی 16 را روی تصویرهای (projections) اتنشن در حدود 6 گیگابایت آموزش میدهد؛ بنابراین هر کارت میتواند آزمایش مستقل خودش را اجرا کند.
نقطهی شروع: نرخ یادگیری 2e-5 از درس SFT برای آپدیت کامل، همراه با نرخ بالاتر برای تطبیقدهندهها مطابق کدهای تمرینی درس LoRA؛ یک تا سه دور آموزش؛ ترکیب 2 تا 5 درصد متن خام پیشآموزش در دستهها (batches).
معیار سنجش: تابع زیانِ دستورالعمل روی دادههای نگهداشتهشده، تابع زیان متن خام قبل و بعد از آموزش با سقف مجاز افزایش 10 تا 15 درصدی، تطابق دقیق (exact match) روی وظایف قالببندیشده (در صورت کاربرد)، و بازخوانی پنجاه نمونه.
مرحلهی 2: DPO
مرجع: چکپوینت SFT که merge شده و منجمد است. سیاست: یک نسخه از همان مدل با تطبیقدهندههای تازه. بتا در محدودهی 0.1 تا 0.3، چند دور آموزش، و محاسبهی چهار لگاریتم احتمال به ازای هر جفت، صرفاً روی توکنهای پاسخ.
معیار سنجش: ارزیابی دوسویهکور جفتی در برابر مدل SFT روی پرامپتهای نگهداشتهشده، حاشیهی پاداش ضمنی (implicit reward)، لگاریتم احتمال مطلق پاسخ برگزیده، طول پاسخ بر حسب هر چکپوینت، و بررسی مجدد مجموعهی فراموشی. آموزش را بر اساس نتیجهی ارزیابی متوقف کنید، نه حاشیه.
مرحلهی 3: درگاه انتشار
- مجموعهای ثابت از پرامپتها که بهصورت دوسویهکور توسط ارزیابهای انسانی در برابر چکپوینت SFT و مدل پایه امتیازدهی میشوند.
- مجموعهی امتناع مدل و ایمنی همراه با رفتار مورد انتظارِ مدون.
- مجموعهی فراموشی.
- نگهداشتن جداگانهی تطبیقدهندهها برای بازگشت به عقب (rollback)؛ اجرای merge فقط برای دستسازهی نهاییِ آمادهی انتشار.
سه اقدام بازدارنده
- فراموشی فاجعهبار: نرخ یادگیری پایین، آموزش کوتاه، ترکیب دادههای پیشآموزش، و تعیین سقف برای تابع زیان متن خام.
- سوءاستفاده از سیگنال امتیازدهی: ارزیابها پاسخهای طولانی و همنظر با کاربر را ترجیح میدادند؛ بنابراین طول پاسخ و میزان موافقت با مقدمه (premise) را زیر نظر بگیرید، و جفتهایی را که تنها وجه تمایزشان طول پاسخ است فیلتر کنید.
- بهینهسازی بیش از حد پروکسی: نسبت DPO ممکن است مدل را از توزیع دادهها خارج کند؛ بنابراین بر اساس ارزیابی کورْ آموزش را زود متوقف کنید و بتا را محافظهکارانه نگه دارید.
زمانبندی
هفتهی اول: دادهها و SFT. هفتهی دوم: DPO و اولین ارزیابی کور. هفتهی سوم: درگاه انتشار، اجرای بهترین پیکربندی با یک سید تصادفی دیگر، و طرح بازگشت به عقب.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا در این سناریو DPO را به مدل پاداش (reward model) و PPO ترجیح میدهیم؟ پاسخ مورد انتظار: چند دههزار جفت داده، دو کارت گرافیک کوچک و مهلت سه هفتهای با شرایط کاری DPO همخوانی دارند؛ مدل پاداش و PPO به سه حلقهی محاسباتی و حافظهی بیشتری نیاز دارند.
- سطح 4: امتیازها ستارهای (یک تا پنج ستاره) برای تکپاسخها هستند، نه جفتها. چه تغییری در روند ایجاد میشود؟ پاسخ مورد انتظار: جفتها را تنها زمانی بسازید که یک پرامپت پاسخهایی در دو سر طیف امتیازی داشته باشد، یا از تابع زیانِ بدون جفت استفاده کنید که روی برچسبهای خوب و بد کار میکند و جفتها را فقط برای ارزیابی نگه دارید.
- سطح 4: چگونه اثبات میکنید که مرحلهی DPO به رفتار مدل SFT آسیب نزده است؟ پاسخ مورد انتظار: ارزیابی دوسویهکور جفتی در برابر چکپوینت SFT، مجموعهی فراموشی، و لگاریتم احتمال مطلق پاسخ برگزیده؛ افزایش حاشیه همزمان با افت این معیارها، نشانهای واضح برای توقف آموزش است.
- سطح 4: چه شرایطی شما را به افزودن یک مرحلهی یادگیری تقویتی (RL) با مدل اعتبارسنج وامیدارد؟ پاسخ مورد انتظار: وجود بخشی از وظیفه با پاسخی کاملاً قابل راستیآزمایی؛ مانند شمارهی سفارش درست یا قطعهکدی که تستها را پاس کند؛ در چنین حالتی، پاداش دودویی و مزیتهای (advantages) نسبیِ گروهی سیگنالی میدهند که در امتیازهای کاربران وجود ندارد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مرحلهی SFT را نادیده بگیرید و DPO را مستقیماً روی مدل پایه اجرا کنید.» DPO به یک مدل مرجع نیاز دارد که بتواند دستورالعملها را دنبال کند؛ تابع زیان تکمرحلهای روش متفاوتی است، و جفتهای مدل پایه خارج از توزیع خواهند بود.
- «مدل 8B را بهصورت کامل روی هر دو کارت گرافیک فاینتیون کنید.» آپدیت کامل مدلی با این اندازه به همراه وضعیتهای بهینهساز به حدود 56 گیگابایت حافظه نیاز دارد؛ دو کارت 24 گیگابایتی فقط با تطبیقدهندهها و مدل پایهی 4 بیتی پاسخگوی آن هستند.
- «از امتیازهای ستارهای بهعنوان پاداش استفاده کنید و PPO را اجرا کنید.» رگرسیون روی امتیازهای مطلق، همان برچسب ضعیفی است که درسها دربارهاش هشدار دادهاند؛ بهعلاوه پیادهسازی این معماری کامل در این توان پردازشی و بازهی زمانی نمیگنجد.
کجای دوره آموزش داده میشود
درس تنظیم دستورالعمل و SFT دادهها و تنظیمات SFT را مشخص میکند، درس فاینتیونینگ با LoRA به حافظهی مورد نیاز QLoRA میپردازد، درس DPO بازهی بتا و شیوهی ارزیابی را ارائه میدهد، و درس مدلسازی پاداش و RLHF اقدامات بازدارنده در برابر بهینهسازی بیش از حد را برمیشمارد.