سؤال مصاحبه

جهش ناگهانی بنچمارک میان دو اندازه‌ی مدل

A benchmark jumps between two model sizes

  • سطح ۴: استف
  • مفهومی
  • ۱۲ دقیقه

دقت یک بنچمارک بین دو اندازه‌ی مختلف مدل، از نزدیک صفر ناگهان جهش می‌کند و بسیار بالا می‌رود. تیم این پدیده را «قابلیت نوظهور» (emergent ability) می‌نامد و برای پیدا کردن جهش بعدی، بودجه‌ی بیشتری می‌خواهد. پیش از تأیید و امضای درخواست، این ادعا را چطور ارزیابی می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بپرسید سیستم امتیازدهی (scorer) چیست. معیارهای تطابق دقیق (Exact Match) و دقت مبتنی بر آستانه ناپیوسته‌اند؛ مدلی که بیشتر رقم‌ها را درست حدس بزند تا زمانی که همه‌ی آن‌ها را دقیق نیاورد امتیاز صفر می‌گیرد. در نتیجه، پیشرفتِ پیوسته در احتمالات زیربنایی، به‌شکل یک پرتگاه دیده می‌شود. همان چک‌پوینت‌ها (checkpoints) را با معیاری پیوسته مثل آنتروپی متقاطعِ (Cross-Entropy) پاسخ‌های هدف دوباره امتیازدهی کنید. اگر این منحنی نرم و پیوسته باشد، جهش به سیستم امتیازدهی مربوط است نه خود مدل. بودجه را بر اساس همان منحنی پیوسته برنامه‌ریزی کنید؛ چون قوانین مقیاس‌پذیری (Scaling Laws) آن را به‌خوبی و با اطمینان پیش‌بینی می‌کنند.

پاسخ کامل

استدلال پشت مسئله

تحلیل‌های سال 2023 درباره‌ی پدیده‌ی نوظهوری نشان داد قابلیت‌هایی که معمولاً به آن‌ها اشاره می‌شود (از جمله محاسبات ریاضی و استدلال چندمرحله‌ای)، با روش‌های امتیازدهی ناپیوسته سنجیده شده بودند. با به‌کارگیری معیاری پیوسته، عملکرد همان مدل‌ها با افزایش مقیاس به‌شکل نرم و یکنواخت بهبود می‌یابد. تا سال 2026، اجماع عملی متخصصان به این نقطه رسیده است: پیش‌بینی‌های حاصل از تابع زیان (loss) پیوسته قابل‌اطمینان‌اند و جهش‌های بنچمارک اغلب دست‌سازه‌ی (artifact) سیستم امتیازدهی هستند.

با چک‌پوینت‌های فعلی چه کار کنیم؟

  1. پرامپت‌ها (prompts) و اهداف را دست‌نخورده نگه دارید.
  2. برای هر چک‌پوینت، احتمال تک‌تک توکن‌های پاسخ درست و آنتروپی متقاطع را روی کل توکن‌های پاسخ ثبت کنید.
  3. هر دو را هم در برابر تعداد پارامترها و هم در برابر توان پردازشیِ آموزش (compute) رسم کنید.
  4. یک سیستم امتیازدهی با نمره‌دهی جزئی (partial-credit)، مثل نسبت رقم‌های درست، اضافه کنید تا ببینید پرتگاه کجا ناپدید می‌شود.

اگر منحنی احتمال نرم باشد، مدل در تمام این مدت در حال نزدیک‌تر شدن بوده و بنچمارک آن را پنهان می‌کرده است.

تأثیر این موضوع بر بودجه‌بندی

تابع زیان را روی چک‌پوینت‌ها برازش (fit) کنید و ببینید اندازه‌ی بعدی مدل روی این منحنی پیوسته در کجا قرار می‌گیرد. سپس بنچمارک ناپیوسته را نسبت به این منحنی کالیبره کنید: در چه مقداری از زیان، دقت مدل از آستانه‌ی محصول عبور می‌کند؟ به‌جای دل خوش کردن به غافلگیری‌های تصادفی، اندازه‌های بیشتری را نزدیک به همان نقطه بررسی کنید. یک آستانه‌ی محصول شاید برای کاربر نهایی حالتی صفر و یکی و کاملاً واقعی داشته باشد، اما برای کسی که بودجه‌ریزی و برنامه‌ریزی می‌کند کاملاً قابل‌پیش‌بینی است.

تغییر فازهای واقعی در کجا رخ می‌دهند؟

یادگیری درون‌متنی (in-context learning) — یعنی عمل به دستور با چند مثال و بدون نیاز به فاین‌تیونینگ (fine-tuning) — معمولاً می‌گویند در بازه‌ی 6B تا 13B پدیدار می‌شود. با این حال موضع این درس این است که حتی پیش از آنکه چنین رفتاری را ناپیوستگی بنامید، آن را با معیاری پیوسته بسنجید؛ چون همان خطای سیستم امتیازدهی اینجا هم پیش می‌آید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: یک نمونه سیستم امتیازدهی ناپیوسته و همتای پیوسته‌ی آن را مثال بزنید. انتظار می‌رود بگویید: تطابق دقیق روی یک پاسخ چندرقمی در برابر لگاریتم احتمال (log-probability) یا دقت در سطح رقم برای همان پاسخ.
  • سطح 4: این موضوع نحوه‌ی برنامه‌ریزی بودجه‌ی آموزش را چطور تغییر می‌دهد؟ انتظار می‌رود بگویید: پیش‌بینی تابع زیان بر اساس قوانین مقیاس‌پذیری، کالیبره کردن بنچمارک با تابع زیان، و اجرای آزمایش‌ها نزدیک به آستانه به‌جای امید بستن به یک جهش ناگهانی.
  • سطح 4: آستانه‌ی محصول برای کاربر واقعاً باینری است. آیا استدلال دست‌سازه بودن باز هم اهمیتی دارد؟ انتظار می‌رود بگویید: بله؛ این آستانه برای محصول واقعی است، اما جایگاه وقوع آن روی منحنی پیوسته پیش‌بینی‌پذیر است، و این دقیقاً همان چیزی است که برای بودجه‌بندی به آن نیاز دارید.
  • سطح 4: چه چیزی شما را قانع می‌کند که جهش رخ‌داده ناشی از دست‌سازه‌ی سیستم امتیازدهی نیست؟ انتظار می‌رود بگویید: اگر معیار پیوسته هم در همان مقیاس یک شکستگی ناگهانی نشان دهد و این رفتار با تغییر سیدها (seeds) و ترتیب داده‌ها تکرار شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دقت همان حقیقت پایه (ground truth) است و زیان یک تقریب واسط.» دقتِ مبتنی بر یک آستانه‌ی سخت‌گیرانه، اطلاعاتی را که نشان‌دهنده‌ی روند هستند دور می‌ریزد؛ در حالی که تابع زیان همان چیزی است که مدل بهینه‌سازی می‌کند و قوانین مقیاس‌پذیری پیش‌بینی‌اش می‌کنند.
  • «نوظهوری یعنی قانون مقیاس‌پذیری نقض شده است.» قانون، تابع زیان پیوسته را توصیف می‌کند؛ زیان شکل پیوسته‌ی خود را حفظ می‌کند در حالی که امتیاز مبتنی بر آستانه ناگهان جهش می‌زند.
  • «مدل بزرگ‌تر را آموزش می‌دهیم تا ببینیم چه می‌شود.» این دقیقاً همان آزمایش پرهزینه‌ای است که با این تحلیل می‌توانید جلویش را بگیرید؛ اول آنچه را که دارید دوباره امتیازدهی کنید.

کجای دوره آموزش داده می‌شود

درس قوانین مقیاس‌پذیری به موضوع نوظهوری در برابر تابع زیان پیوسته می‌پردازد، و درس مدل‌سازی علّی زبان یادگیری درون‌متنی را روی محور مقیاس بررسی می‌کند.