سؤال مصاحبه

جایگزینی جدول موقعیت یادگیری‌شده با جدول ثابت

Swap the learned position table for a fixed one

  • سطح ۲: میانی
  • پروژه‌ی خانگی
  • ۲۰ دقیقه

پیکربندی مرجع GPT کوچک از یک امبدینگ موقعیت (position embedding) یادگیری‌شده با ابعاد 1024 در 768 استفاده می‌کند. آن را با یک جدول سینوسی که هنگام ساخت مدل محاسبه می‌شود جایگزین کنید، آن را به دسته‌ای از امبدینگ‌های توکن بیفزایید و بگویید تعداد پارامترها چقدر تغییر می‌کند و چرا گذر رو به جلو (forward pass) مدل همچنان کار می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

جدولی بسازید که به ازای هر موقعیت یک سطر و به ازای هر ویژگی یک ستون داشته باشد؛ طوری که ستون 2i مقدار سینوس و ستون 2i + 1 مقدار کسینوس موقعیت تقسیم بر پایه به توانِ 2i بر پهنای مدل را نگه دارد. آن را به عنوان بافر (buffer) ثبت کنید، در هر گذر رو به جلو T سطر اول را برش بزنید و بدون تغییر آرایه‌ی فراخواننده، به امبدینگ‌های توکن اضافه کنید. این جدول همان ابعاد جدول یادگیری‌شده را دارد؛ بنابراین گذر رو به جلو تغییری نمی‌کند و تعداد پارامترها هم دقیقاً 786,432 عدد کاهش می‌یابد، چون این جدول دیگر یاد گرفته نمی‌شود.

پاسخ کامل

جدول

def sinusoidal_pe(max_len, d_model, base):
    pos = np.arange(max_len)[:, None]
    end = 2 * (d_model // 2)
    i = np.arange(0, end, 2)
    angle = pos / base ** (i / d_model)
    pe = np.zeros((max_len, d_model))
    pe[:, 0:end:2] = np.sin(angle)
    pe[:, 1:end:2] = np.cos(angle)
    return pe


class SinusoidalPositions(nn.Module):
    def __init__(self, max_len, d_model, base):
        super().__init__()
        table = torch.as_tensor(sinusoidal_pe(max_len, d_model, base)).float()
        self.register_buffer("pe", table)

    def forward(self, x):
        return x + self.pe[: x.shape[1]]

توان برابر است با 2i تقسیم بر پهنای مدل؛ بنابراین بسامدها در طول ستون‌ها از یک تا یک تقسیم بر پایه کاهش می‌یابند. ستون‌ها یک‌درمیان بین سینوس و کسینوس قرار می‌گیرند؛ چیدن همه‌ی سینوس‌ها در نیمه‌ی اول و همه‌ی کسینوس‌ها در نیمه‌ی دوم، چیدمان متفاوتی است و با مدل مرجع همخوانی ندارد. موقعیت‌ها از صفر شروع می‌شوند. در پهنای فرد، ستون آخر جفتی ندارد، بنابراین مقدار آن ستون صفر می‌ماند. جدول یک بار با numpy ساخته و به صورت یک بافر torch ذخیره می‌شود؛ به این ترتیب همراه با مدل به دستگاه (device) منتقل می‌شود و در عملیات جمع، هر دو تنسور روی یک دستگاه قرار دارند.

چرا گذر رو به جلو تغییر نمی‌کند

در ساختار مدل، قبل از اولین بلوک یک بردار موقعیت به هر بردار توکن اضافه می‌شود. هیچ بخشی در ادامه‌ی مسیر متوجه نمی‌شود که این بردار از جدولی یادگیری‌شده آمده یا جدولی ثابت. قرارداد مربوط به ابعاد (shape contract) کاملاً یکسان است؛ بنابراین بلوک‌ها، LayerNorm نهایی و سر مدل با وزن‌های اشتراکی (tied head) بدون تغییر اجرا می‌شوند.

تعداد پارامترها

جدول یادگیری‌شده 1024 سطر دارد که هر کدام شامل 768 مقدار است. حذف آن از فهرست پارامترها، تعداد پارامترهای یکتا را 786,432 عدد کاهش می‌دهد. شمارنده‌ی پارامترها باید تنسورهای یکتا را بشمارد تا سر مدل زبانی (language model head) با وزن‌های اشتراکی را دو بار حساب نکند، و نباید بافرها را بشمارد.

دو اشتباه که باید از آن‌ها دوری کرد

  • اضافه کردن در‌جای جدول با += امبدینگ‌های فراخواننده را تغییر می‌دهد، در حالی که حلقه‌ی آموزش هنوز به آن‌ها نیاز دارد.
  • تقسیم توان بر پهنای بخش زوج به جای کل پهنا، در پهنای فرد بسامدهای یک مدل باریک‌تر را تولید می‌کند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا سینوس و کسینوس را یک‌درمیان می‌چینیم به جای اینکه آن‌ها را در دو نیمه بگذاریم؟ پاسخ مورد انتظار: چک‌پوینتی که با چیدمان یک‌درمیان آموزش دیده، انتظار دارد هر جفت ستون مجاور یک گردش (rotation) تشکیل دهند، و این دو چیدمان جایگزین‌پذیر نیستند.
  • سطح 2: مقدار پایه (base) چه چیزی را کنترل می‌کند؟ پاسخ مورد انتظار: کمترین بسامد، و در نتیجه طولانی‌ترین بازه‌ی موقعیت پیش از آنکه کندترین ستون‌ها به تکرار بیفتند.
  • سطح 3: طبق درس سرهم‌بندی مدل، کدام طرح موقعیت این مدل را به خانواده‌ی بعدی مدل‌ها تبدیل می‌کند؟ پاسخ مورد انتظار: طرح روتاری (rotary) که درون اتنشن اعمال می‌شود، جایگزین جدول جمع‌شونده می‌شود و بلوک و سر مدل را دست‌نخورده باقی می‌گذارد.
  • سطح 3: یک جدول ثابت هیچ پارامتری ندارد؛ مدل چه چیزی را از دست می‌دهد؟ پاسخ مورد انتظار: توانایی یادگیری ویژگی‌های موقعیت از داده‌ها، در ازای جدولی که در زمان ساخت می‌تواند تا هر طولی گسترش یابد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «جدول را به عنوان پارامتر ثبت کنید تا بهینه‌ساز بتواند آن را اصلاح کند.» در این صورت دوباره به جدولی یادگیری‌شده تبدیل می‌شود و تعداد پارامترها کاهش نمی‌یابد.
  • «موقعیت‌ها را از یک شروع کنید تا سطر اول تماماً صفر و یک نباشد.» مرجع از صفر شروع می‌کند؛ سطر صفر کد مربوط به موقعیت صفر است.
  • «برای ستون‌های سینوس و کسینوس از همان توان ولی با پایه‌ی متفاوت استفاده کنید.» هر دو ستون یک جفت، زاویه‌ی یکسانی دارند و تنها تابع آن‌ها فرق می‌کند.

کجای دوره آموزش داده می‌شود

درس سرهم‌بندی مدل GPT این جایگزینی را به عنوان تمرین مطرح کرده و اختلاف پارامتر را نشان می‌دهد، و تمرین کدگذاری موقعیتی سینوسی چیدمان یک‌درمیان را بررسی می‌کند.