سؤال مصاحبه

رساندن زمینه‌ی مدل از 8K به 128K

Take a model from 8K to 128K

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

مدلی با زمینه‌ی (Context) اولیه‌ی 8K توکن آموزش دیده است. حالا محصول به 128K نیاز دارد. بودجه‌ی محدودی برای فاین‌تیونینگ (Fine-tuning) دارید و بودجه‌ای هم برای پیش‌آموزش مجدد در کار نیست. گزینه‌ها را بر اساس شیوه‌ی کدگذاری مکانیِ (Positional encoding) مدل بررسی کنید و برنامه‌ای را که اجرا خواهید کرد، ارائه دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پاسخ به شیوه‌ی کدگذاری مکانی مدل بستگی دارد؛ بنابراین اول فایل کانفیگ (Config) را بخوانید. در جدول یادگیری‌پذیرِ مطلق (Learned absolute table)، برای طول‌های بیشتر از مقدار آموزش‌دیده هیچ سطری وجود ندارد و نمی‌توان بدون پارامترهای جدید آن را بسط داد. با امبدینگ‌های روتاری (Rotary embeddings یا RoPE)، با روش‌هایی مثل مقیاس‌بندی متناسب با NTK (روش NTK-aware)، YaRN یا LongRoPE، پایه‌ی زاویه‌ها را مقیاس‌بندی یا موقعیت‌ها را درون‌یابی (Interpolate) می‌کنید و سپس مدل را روی دنباله‌های طولانی فاین‌تیون می‌کنید؛ مرجع این درس خانواده‌ای از مدل‌هاست که با همین روش از 8K به 128K رسیده‌اند. اتنشن (Attention) با بایاس خطی به‌صورت ساختاری قابلیت برون‌یابی (Extrapolate) دارد، اما نمی‌توانید مدلی آموزش‌دیده را بدون هزینه به آن تغییر دهید.

پاسخ کامل

گزینه‌ها بر اساس شیوه‌ی کدگذاری مکانی

شیوه‌ی استفاده‌شده در چک‌پوینت آیا به 128K می‌رسد؟ چگونه
جدول یادگیری‌پذیر مطلق نه بدون سطرهای جدید افزودن سطرهای جدید و آموزش آن‌ها، یا بازآموزی کامل
سینوسی ثابت فرمول ادامه دارد، مدل نه مدل هرگز چنین فازهایی را ندیده است؛ انتظار کیفیت پایینی داشته باشید
روتاری بله مقیاس‌بندی پایه یا درون‌یابی موقعیت‌ها، سپس فاین‌تیونینگ
بایاس خطی بله بر اساس طراحی از پیش برون‌یابی می‌کند؛ انتخابی در زمان آموزش

جعبه‌ابزار روتاری

  • درون‌یابی موقعیت به‌همراه فاین‌تیونینگ: موقعیت‌ها را با ضریب مقیاس (Scale factor) کوچک کنید تا زاویه‌ها درون بازه‌ی آموزش‌دیده بمانند، سپس به مدت 1 تا 5B توکن فاین‌تیون کنید. ساده و اثربخش.
  • مقیاس‌بندی NTK-aware: هنگام رفتن از 4K به 16K و بالاتر، پایه را به base * scale_factor ** (d / (d - 2)) مقیاس‌بندی مجدد کنید تا جفت‌بُعدهای فرکانس‌بالا بیش از حد فشرده نشوند.
  • روش YaRN: ترکیبی از درون‌یابی و برون‌یابی روی هر بُعد، که آنتروپی اتنشن را در زمینه‌های طولانی حفظ می‌کند؛ این روش به یک مرحله فاین‌تیونینگ نیاز دارد.
  • روش LongRoPE: جست‌وجوی ضرایب مقیاس برای تک‌تک ابعاد؛ کاربردی برای زمینه‌های بسیار طولانی.

برنامه‌ی اجرایی

  1. شیوه‌ی کدگذاری مکانی را از کانفیگ مدل تأیید کنید و بلوک فعلی rope scaling را بخوانید.
  2. روش YaRN یا درون‌یابی موقعیت را انتخاب کنید، ضریب مقیاس را برای 128K تنظیم کنید و یک مجموعه‌ی فاین‌تیونینگ با دنباله‌های طولانی بسازید.
  3. قبل از آموزش، پرپلکسیتی (Perplexity) را روی دنباله‌هایی طولانی‌تر از طول آموزش‌دیده، با مقیاس‌بندی و بدون آن اندازه بگیرید؛ درست مانند تمرین این درس برای طول‌های 256 و 1024.
  4. مدل را فاین‌تیون کنید، سپس دوباره در طول هدف و در طول اولیه اندازه‌گیری را انجام دهید تا بردن در ورودی‌های طولانی، پسرفت کیفیت (Regression) روی ورودی‌های کوتاه را پنهان نکند.
  5. حافظه را بودجه‌بندی کنید. کشِ کلیدها و مقادیر (KV Cache) به‌صورت خطی با زمینه رشد می‌کند و 128K شانزده برابر 8K است.

به تیم محصول چه بگوییم؟

شیوه‌ی کدگذاری مکانی نقطه‌ی تعیین‌کننده است. یک مدل روتاری، ابزاری بی‌دردسر و یک تسک فاین‌تیونینگ کوتاه پیش رویتان می‌گذارد. اما مدلی با جدول یادگیری‌پذیر یا سینوسی، به بازآموزی یا یک مدل دیگر نیاز دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا یک مدل روتاری اگر بدون هیچ تغییری مستقیماً روی 128K اجرا شود، شکست می‌خورد؟ انتظار می‌رود: جفت‌مختصات‌های سریع‌چرخش به زاویه‌هایی می‌رسند که مدل هرگز ندیده است؛ در نتیجه امتیازها در فاصله‌های دور تبدیل به نویز می‌شوند.
  • سطح 3: قبل از انتشار نهایی، روی چه دو سنجشی اصرار می‌کنید؟ انتظار می‌رود: پرپلکسیتی یا کیفیت وظیفه (Task) در طول جدید، و تکرار همان سنجش در طول اولیه برای پیدا کردن پسرفت‌های احتمالی.
  • سطح 4: تیم پیشنهاد می‌کند مدل را به اتنشن با بایاس خطی تغییر دهیم چون برون‌یابی خوبی دارد. پاسخ شما چیست؟ انتظار می‌رود: این انتخابی در زمان آموزش است؛ چک‌پوینتی را که با چرخش آموزش دیده است نمی‌توان بدون بازآموزی با یک بایاس امتیازی جایگزین کرد.
  • سطح 4: در طول 128K حتی اگر کیفیت هم خوب باشد، چه چیزی در سمت سِرو مدل (Serving) به هم می‌ریزد؟ انتظار می‌رود: حافظه برای کلیدها و مقادیر هر توکن که هم‌گام با زمینه رشد می‌کند؛ استک اتنشن به اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention) یا اتنشن نهفته (Latent Attention) و یک کرنل (Kernel) کاشی‌کاری‌شده (Tiled) نیاز دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «حداکثر موقعیت را در کانفیگ بالاتر ببرید و خروجی بگیرید.» جدول یادگیری‌پذیر هیچ سطری برای موقعیت‌های جدید ندارد و مدل روتاری هم به پایه‌ی مقیاس‌بندی‌شده و فاین‌تیونینگ نیاز دارد.
  • «کدگذاری سینوسی تا هر طولی ادامه دارد، بنابراین مدل کار خواهد کرد.» فرمول بسط پیدا می‌کند؛ اما مدل هرگز برای خواندن آن فازها آموزش ندیده است و کیفیتش افت می‌کند.
  • «درون‌یابی موقعیت به هیچ آموزشی نیاز ندارد.» دستورالعمل این درس فشرده‌سازی موقعیت‌ها و سپس فاین‌تیونینگ برای 1 تا 5B توکن است.

کجای دوره آموزش داده می‌شود

در درس کدگذاری مکانی ترفندهای مقیاس‌بندی و افزایش طول زمینه به 128K فهرست شده است، و در پروژه‌ی پایانی امبدینگ توضیح داده شده است که چرا جدول یادگیری‌پذیر محدودیت طول دارد.