سؤال مصاحبه

انکودر، دیکودر یا هر دو برای سه محصول مختلف

Encoder, decoder or both for three products

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

سه پروژه روی میز شما قرار می‌گیرد: یک مدل رتبه‌بندی جستجو روی اسناد، یک دستیار برنامه‌نویسی برای نوشتن کد، و یک سیستم تبدیل گفتار به متن. برای هرکدام سراغ چه ساختار ترنسفورمری می‌روید و تابع زیان (loss) پیش‌آموزش چه ارتباطی با این انتخاب دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

فقط-انکودر (Encoder-only) برای رتبه‌بندی و امبدینگ، فقط-دیکودر (Decoder-only) برای تولید متن، و انکودر-دیکودر (Encoder-Decoder) برای زمانی که ورودی یک توالی مبدأ مشخص مثل فایل صوتی برای پیاده‌سازی متنی است. انکودر هر دو طرفِ هر موقعیت را می‌خواند و با پیش‌بینی توکن‌های ماسک‌شده آموزش می‌بیند؛ این کار بازنمایی‌های قدرتمندی تولید می‌کند اما راهی برای تولید متن باقی نمی‌گذارد. دیکودر با پیش‌بینی توکن بعدی (Next-Token Prediction) پشت یک ماسک علّی (Causal Mask) آموزش می‌بیند؛ به همین دلیل می‌تواند متن تولید کند و تمیزتر از بقیه مقیاس‌پذیر می‌شود؛ علتی که باعث شد دنیای زبان را تصاحب کند. در واقع، این تابع زیان است که تعیین می‌کند آیا مدل اصلاً می‌تواند متنی تولید کند یا خیر.

پاسخ کامل

سه اسکلت ساختاری

نیاز ساختار دلیل
طبقه‌بندی، امبدینگ، پاسخ به پرسش‌ها روی متن فقط-انکودر توجه دوطرفه (Bidirectional Attention) کل ورودی را یک‌جا می‌بیند
تولید متن، چت، کد، استدلال فقط-دیکودر ماسک علّی به‌همراه تابع زیان پیش‌بینی توکن بعدی؛ یک گذر از اتنشن و FFN در هر لایه
ورودی ساختاریافته به خروجی ساختاریافته، ترجمه، تشخیص گفتار انکودر-دیکودر انکودر توالی مبدأ را در اختیار دارد؛ دیکودر متن خروجی را تولید می‌کند و آن را از طریق کراس‌اتنشن می‌خواند

خط فاصلی که این‌ها را جدا می‌کند

دیکودر احتمال هر توکن را به شرط توکن‌های قبلی آن پیش‌بینی می‌کند. انکودر یک توکن ماسک‌شده را به شرط توکن‌های ماسک‌نشده پیش‌بینی می‌کند. بلوک ترنسفورمر همان است، اتنشن هم همان است؛ فقط ماسک و هدف آموزش فرق دارند. تنها تابع زیان اول مدلی تولید می‌کند که بتواند یک توالی را ادامه دهد.

کراس‌اتنشن

بلوک دیکودر در مدل انکودر-دیکودر سه زیرلایه دارد: خوداتنشنِ ماسک‌شده، کراس‌اتنشن و FFN. در کراس‌اتنشن، کوئری‌ها (Queries) از دیکودر می‌آیند و کلیدها (Keys) و مقادیر (Values) از خروجی انکودر تأمین می‌شوند. این تنها جایی است که اطلاعات از مبدأ به‌سمت خروجی جریان پیدا می‌کند. دیکودر خالص این لایه را حذف می‌کند.

چرا فقط-دیکودر بر دنیای زبان مسلط شد

هم فهم (کامپریهنشن) و هم تولید متن را با یک معماری واحد مدیریت می‌کند، تمیز مقیاس‌پذیر می‌شود، و یادگیری در بستر پرامپت (in-context learning) به مدل اجازه می‌دهد تا بدون نیاز به اضافه کردن هدِ جدید برای هر وظیفه، از مثال‌ها الگوبرداری کند. با این حال، وقتی ورودی هویت مبدأ متمایز و مشخصی دارد، انکودر-دیکودر همچنان بهترین گزینه است: یک شکل‌موج (waveform) صوتی، یک جمله به زبانی دیگر، یا جدولی که باید خلاصه‌سازی شود.

سه پاسخ

  1. رتبه‌بندی: انکودر یا مدل امبدینگی که روی انکودر ساخته شده است؛ زیرا به بازنمایی کل سند نیاز دارید و قرار نیست متنی تولید شود.
  2. دستیار برنامه‌نویسی: دیکودر؛ چون هدف نهایی محصول، تولید متن است و تابع زیان علّی دقیقاً همان چیزی است که تولید را ممکن می‌کند.
  3. گفتار به متن: انکودر-دیکودر؛ چون صوت یک توالی مبدأ با هویتی کاملاً مستقل و متمایز است و متن توالی دیگری است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام زیرلایه فقط در ساختار انکودر-دیکودر وجود دارد؟ پاسخ مورد انتظار: کراس‌اتنشن؛ با کوئری‌هایی از دیکودر و کلیدها و مقادیری از انکودر.
  • سطح 3: چرا مدل فقط-دیکودر از پس وظایف درک متن (کامپریهنشن) هم برمی‌آید؟ پاسخ مورد انتظار: همان مدلِ پیش‌بینی توکن بعدی با ادامه‌دادن پرامپت به سؤال پاسخ می‌دهد و یادگیری درون پرامپت به آن اجازه می‌دهد بدون نیاز به هد اختصاصی برای وظیفه، از مثال‌ها تبعیت کند.
  • سطح 3: در چه صورتی هنوز برای یک وظیفه‌ی متنی سراغ انکودر-دیکودر می‌روید؟ پاسخ مورد انتظار: زمانی که ورودی یک توالی مبدأ مشخص باشد و خروجی قرار باشد آن را دگرگون کند؛ مثل ترجمه یا خلاصه‌سازی یک سند مشخص.
  • سطح 4: تیم رتبه‌بندی می‌خواهد از همان دیکودری که در حال حاضر مستقر کرده استفاده کند؛ چطور؟ پاسخ مورد انتظار: پرامپت دادن به آن و خواندن لاجیت‌های یک توکنِ برچسب، یا اضافه کردن یک هد و فاین‌تیون کردن آن؛ سپس سنجش هزینه‌ی این کار در برابر یک انکودر که اسناد را در یک گذر ارزیابی می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل فقط-دیکودر نمی‌تواند کار طبقه‌بندی انجام دهد.» چرا، می‌تواند؛ با پرامپت یا با افزودن یک هد. موضوع اصلی این است که انکودر معمولاً برای این کار ارزان‌تر و به‌صرفه‌تر تمام می‌شود.
  • «انکودر متن را توکن به توکن تولید می‌کند.» انکودر تابع زیان علّی ندارد و موقعیت‌های ماسک‌شده را پیش‌بینی می‌کند؛ این مدل برای ادامه‌دادن یک توالی آموزش ندیده است.
  • «هر بلوک ترنسفورمر کراس‌اتنشن دارد.» فقط بلوک‌های دیکودر در مدل‌های انکودر-دیکودر این لایه را دارند.

کجای دوره آموزش داده می‌شود

درس جامع ترنسفورمر هر سه ساختار و جدول انتخاب آن‌ها را آموزش می‌دهد و درس مدل‌سازی علّی زبان این دو تابع زیان را با هم مقایسه می‌کند.