سؤال مصاحبه

چرا در تابع زیان SFT از توکن‌های دستورالعمل صرف‌نظر می‌کنیم؟

Why the SFT loss skips the instruction tokens

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک مدل پایه (base model) را فاین‌تیون می‌کنید تا از دستورالعمل‌ها پیروی کند. حلقهٔ آموزشِ یکی از همکارانتان، آنتروپی متقاطع (cross-entropy) را روی تمام توکن‌های هر توالی، از جمله توکن‌های دستورالعمل، محاسبه می‌کند. آیا این کار مشکلی دارد؟ چه چیزی را و چرا تغییر می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بله، مشکل دارد. تابع زیان (loss) را فقط روی توکن‌های پاسخ محاسبه کنید. کاربر هنگام استنتاج (inference) همیشه دستورالعمل را ارائه می‌دهد؛ بنابراین اِعمال گرادیان روی آن، به مدل یاد می‌دهد که سؤال بنویسد، نه این‌که پاسخ دهد. برچسب تمام جایگاه‌های دستورالعمل، پدینگ (padding) و خودِ توکن مرز پاسخ را روی شناسهٔ نادیده‌گرفتن (ignore index) بگذارید تا زیان و گرادیانی ایجاد نکنند.

پاسخ کامل

ماسک چه کاری انجام می‌دهد؟

هر نمونه در SFT یک توالی واحد است: دستورالعمل، توکن مرز (boundary token) و پاسخ. مدل در گذر رو به جلو (forward pass) همچنان کل توالی را می‌بیند تا اتنشن بتواند دستورالعمل را بخواند. تابع زیان فقط جایگاه‌های بعد از مرز را به شمار می‌آورد. در PyTorch، تانسور input_ids را داخل labels کپی می‌کنید و جایگاه‌های دستورالعمل، مرز و پدینگ را با مقدار -100 (که مقدار پیش‌فرض ignore_index در cross_entropy است) بازنویسی می‌کنید. ابتدا شیفت یک‌واحدی را اِعمال کنید و سپس ماسک را بگذارید تا ماسک دقیقاً روی هدف‌های درست بنشیند.

چرا این کار صرفاً یک اصلاح ظاهری نیست؟

بدون این ماسک، دو مشکل پیش می‌آید. اول این‌که مدل ظرفیت خود را صرف متنی می‌کند که کاربر در هر صورت همیشه خودش ارائه می‌دهد. دوم، معمولاً تعداد جایگاه‌های دستورالعمل از پاسخ بیشتر است؛ در نتیجه، سهم زیانِ پاسخ در مجموع گرادیان‌ها ناچیز می‌شود. یعنی نرخ یادگیری مؤثر روی بخشی که برایتان مهم است، عملاً کمتر از مقداری خواهد بود که تنظیم کرده‌اید.

تقسیم بر تعداد درست

زیانِ ماسک‌شده را به جای طول توالی، بر تعداد توکن‌های پاسخ تقسیم کنید؛ وگرنه یک دستورالعمل طولانی، سیگنال حاصل از یک پاسخ کوتاه را رقیق و ضعیف می‌کند.

گفت‌وگوهای چندنوبته

وقتی در یک گفت‌وگو چند نوبت گفت‌وگو (turn) مربوط به دستیار وجود دارد، ماسک برای هر نوبتِ دستیار برابر با یک و برای هر نوبتِ کاربر برابر با صفر است. قبل از شروع آموزش، حتماً برای یک نمونه ستون توکن‌ها را در کنار ستون برچسب‌ها چاپ و بررسی کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: کدام جایگاه‌ها شناسهٔ نادیده‌گرفتن را دریافت می‌کنند؟ پاسخ مورد انتظار: دستورالعمل، پدینگ و خودِ توکن مرز؛ مدل باید آنچه را که بعد از مرز می‌آید پیش‌بینی کند، نه خودِ مرز را.
  • سطح 2: چرا مدل در گذر رو به جلو همچنان به دستورالعمل نیاز دارد؟ پاسخ مورد انتظار: پاسخ از طریق اتنشن به دستورالعمل مشروط (conditioned) می‌شود؛ ماسک فقط زیان آن را حذف می‌کند، نه کانتکست آن را.
  • سطح 2: چگونه ماسک را قبل از یک اجرای طولانی بررسی می‌کنید؟ پاسخ مورد انتظار: چاپ توکن‌ها در کنار برچسب‌ها برای یک نمونه و اطمینان از این‌که پس از اِعمال شیفت، فقط جایگاه‌های پاسخ برچسب واقعی دارند.
  • سطح 3: یک مدل پایه وقتی سؤالی دریافت می‌کند، مدام سؤال‌های بیشتری می‌نویسد. SFT چه چیزی را تغییر می‌دهد و چه چیزی را دست‌نخورده می‌گذارد؟ پاسخ مورد انتظار: الگوی گفت‌وگو را به مدل یاد می‌دهد تا بعد از نشانگر پاسخ، شروع به جواب‌دادن کند؛ اما هیچ فکتی اضافه نمی‌کند، این اطلاعات قبلاً از پیش‌آموزش آمده‌اند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «زیان روی دستورالعمل یک سیگنال اضافی است، پس آن را نگه دارید.» این کار به مدل یاد می‌دهد که دستورالعمل تولید کند، و سهم گرادیانِ حاصل از پاسخ را کاهش می‌دهد.
  • «زیان ماسک‌شده را بر طول توالی تقسیم کنید.» در این صورت، یک دستورالعمل طولانی سیگنال پاسخ را رقیق می‌کند؛ باید آن را بر تعداد توکن‌های پاسخ تقسیم کنید.
  • «زیان را روی نشانگر پاسخ نگه دارید تا مدل یاد بگیرد آن را تولید کند.» این نشانگر بخشی از قالب پرامپت (prompt template) است؛ پرامپت آن را ارائه می‌دهد و مدل فقط آنچه را که بعد از آن می‌آید پیش‌بینی می‌کند.

کجای دوره آموزش داده می‌شود

درس SFT ماسک زیان را در numpy می‌سازد، و درس پروژهٔ پایانی SFT تابع تجمیع (collate function) را با شناسهٔ نادیده‌گرفتن پیاده‌سازی می‌کند.