سؤال مصاحبه

تقسیم بودجه‌ی پردازشی ثابت بین اندازه و تعداد توکن‌ها

Split a fixed compute budget between size and tokens

  • سطح ۴: استف
  • بده‌بستان
  • ۱۵ دقیقه

شما هدایت یک فرآیند پیش‌آموزش (pretraining) را با بودجه‌ی پردازشی ثابت بر عهده دارید. یک طرح، مدلی 175 میلیارد پارامتری را روی 300 میلیارد توکن آموزش می‌دهد. طرح دیگر، مدلی بسیار کوچک‌تر را روی توکن‌هایی به‌مراتب بیشتر آموزش می‌دهد. کدام را انتخاب می‌کنید، چطور از آن در برابر مدیران ارشد دفاع می‌کنید، و چه زمانی عمداً فراتر از نقطه‌ای که قوانین مقیاس‌پذیری (scaling laws) بهینه می‌دانند آموزش می‌دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

توان پردازشی تقریباً 6 برابرِ تعداد پارامترها ضربدر توکن‌های آموزش است؛ بنابراین، بودجه حاصل‌ضرب را ثابت نگه می‌دارد و دست شما را برای نحوه‌ی تقسیم آن باز می‌گذارد. تقسیم بهینه از نظر توان پردازشی (compute-optimal) حدود 20 توکن به ازای هر پارامتر است؛ طرح اول حدود 1.7 توکن به ازای هر پارامتر دارد که در این درس، ده برابر کمتر از حد آموزش‌دیده (undertrained) خوانده می‌شود، و مدلی 70 میلیاردی که روی 1.4 تریلیون توکن آموزش دیده بود، آن مدل 175 میلیاردی را در تمام بنچمارک‌ها با 2.5 برابر هزینه‌ی استنتاج کمتر شکست داد. اگر مدل قرار است بار ترافیکی سنگینی را سرویس دهد، عمداً از نقطه‌ی بهینه فراتر بروید: مدلی کوچک‌تر را طولانی‌تر آموزش دهید، زیرا هزینه‌ی آموزش را یک‌بار می‌پردازید و هزینه‌ی استنتاج را تا ابد.

پاسخ کامل

قانون مقیاس‌پذیری

L(N, D) = A / N^alpha + B / D^beta + E
alpha about 0.34, beta about 0.28, E about 1.69, A about 406, B about 411

در اینجا N تعداد پارامترهای غیرامبدینگ (non-embedding)، D توکن‌های آموزش، و E زیان کاهش‌ناپذیر (irreducible loss) خودِ داده‌هاست. با کمینه‌سازی L تحت قید C = 6 N D، این دو مقدار بهینه تقریباً متناسب با ریشه‌ی دوم بودجه رشد می‌کنند:

N_opt about 0.22 * (C / 6)^0.5
D_opt about 4.5  * (C / 6)^0.5
D_opt / N_opt about 20

توان‌های برازش‌شده به‌کندی دچار دریفت (drift) می‌شوند؛ با ثابت‌های بالا، این مقدار حدود 0.45 برای N و 0.55 برای D است، بنابراین این نسبت همراه با بودجه تغییر می‌کند؛ کد این درس، مقدار بهینه را با جستجوی شبکه‌ای (grid search) پیدا می‌کند.

مقایسه‌ی دو طرح

طرح N D توکن به ازای هر پارامتر
بزرگ و کوتاه‌مدت 175B 300B حدود 1.7
بهینه از نظر توان پردازشی 70B 1.4T 20
بهینه‌شده برای استنتاج 8B 15T 1,875

ردیف‌ها بودجه‌ی یکسانی ندارند: ردیف‌های دوم و سوم حدود دو برابر ردیف اول از توان پردازشی استفاده می‌کنند، بنابراین این جدول نسبت‌ها را مقایسه می‌کند، نه گزینه‌هایی با هزینه‌ی یکسان را. ردیف آخر مربوط به خانواده‌ای از مدل‌های محیط عملیاتی (production) است که مدلی کوچک را نود و چهار برابر فراتر از نسبت بهینه از نظر توان پردازشی آموزش داده است. برای سرویسی که ماهانه به یک تریلیون توکن پاسخ می‌دهد، استنتاج بخش اعظم هزینه‌ی کل را تشکیل می‌دهد، و مدلی که روی سخت‌افزارهای تجاری جا می‌گیرد و تاخیر (latency) بسیار کمتری دارد برنده می‌شود؛ هرچند تابع زیان (loss) آموزش آن به ازای هر FLOP آموزشی بدتر بوده باشد. بازه‌ی توصیه‌شده‌ی این درس برای بار کاری متمرکز بر استنتاج، بسته به حجم سرویس‌دهی، 100 تا 500 توکن به ازای هر پارامتر است.

نحوه‌ی دفاع از تصمیم

  1. بودجه را به‌صورت 6 N D و خطوط تراز تابع زیان (loss contours) را روی N و D نشان دهید؛ طرح اول فاصله‌ی زیادی با دره‌ی بهینه دارد.
  2. صورت‌حساب استنتاج را بر اساس حجم پیش‌بینی‌شده برای هر N نشان دهید؛ صرفه‌جویی حاصل از مدل کوچک‌تر هر ماه تکرار می‌شود.
  3. شکاف تابع زیانی را که با بیش‌آموزش (over-training) می‌پذیرید نشان دهید؛ مقداری که از روی قانون مقیاس‌پذیری در N و D انتخابی خوانده می‌شود.

چه چیزهایی ثابت‌ها را تغییر می‌دهند اما شکل تابع را نه

پالایش داده‌ها می‌تواند منحنی‌ها را بیش از 2 برابر توان پردازشی موثر (effective compute) جابه‌جا کند. یک مدل متخصص‌های ترکیبی (mixture-of-experts) تعداد کل پارامترها را از FLOPهای فعال جدا می‌کند، بنابراین قانون مقیاس‌پذیری به ازای هر پارامتر فعال (active parameter) اعمال می‌شود. در یکی از نتایج سال 2024، یک بهینه‌ساز بهتر این مقدار ثابت را حدود 2 برابر تغییر داد. هیچ‌کدام از این موارد شکل توانی قانون را تغییر نمی‌دهند.

نتیجه‌ی فرعی برای فاین‌تیونینگ

قاعده‌ی تجربی این درس: اگر داده‌های وظیفه‌ی (task) شما کمتر از 20 توکن به ازای هر پارامتر از مدل پایه دارد، منتظر اشباع (saturation) در یک کف مشخص از تابع زیان باشید. به این موضوع به چشم هشداری برای اندازه‌گیری و پایش نگاه کنید، نه قاعده‌ای قطعی برای تعیین اندازه‌ی مدل پایه.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: عبارت E چیست و چرا هیچ بودجه‌ای نمی‌تواند آن را حذف کند؟ انتظار می‌رود: زیان کاهش‌ناپذیر، یعنی آنتروپیِ خود داده‌ها؛ قانون مقیاس‌پذیری به آن میل می‌کند ولی هرگز از آن عبور نخواهد کرد.
  • سطح 4: معماری متخصص‌های تنک (sparse expert) چطور طرح را تغییر می‌دهد؟ انتظار می‌رود: FLOPها از پارامترهای فعال پیروی می‌کنند، بنابراین D بهینه در برابر N فعال تعیین می‌شود، در حالی که N کل، میزان حافظه را مشخص می‌کند.
  • سطح 4: وب برای بودجه‌ی شما توکن باکیفیت کم می‌آورد. اهرم‌های شما چیستند؟ انتظار می‌رود: این درس، داده‌های متنی انگلیسی پالایش‌شده را حدود 5 تا 10 تریلیون توکن برآورد می‌کند؛ اهرم‌ها عبارت‌اند از داده‌های مصنوعی (synthetic data)، داده‌های چندزبانه و چندوجهی (multimodal)، و پالایش بهتر داده‌ها.
  • سطح 4: چگونه پیش از ریسک کردن روی کل بودجه، قانون مقیاس‌پذیری را روی زیرساخت خودتان می‌سنجید؟ انتظار می‌رود: آن را روی پنج مدل کوچک از 100K تا 10M پارامتر با همان داده‌ها برازش داده و توان‌ها را با مقادیر منتشرشده مقایسه کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «در توان پردازشی ثابت، مدل بزرگ‌تر همیشه برنده است.» مدل 70 میلیاردیِ آموزش‌دیده روی 1.4 تریلیون توکن، مدل 175 میلیاردیِ آموزش‌دیده روی 300 میلیارد توکن را شکست داد.
  • «مدل بهینه از نظر توان پردازشی، ارزان‌ترین مدل برای سرویس‌دهی هم هست.» این مدل، تابع زیان آموزش را به ازای هر FLOP آموزشی کمینه می‌کند؛ هزینه‌ی سرویس‌دهی با N مقیاس می‌گیرد، و به همین دلیل مدل‌های محیط عملیاتی بیش‌آموزش می‌بینند.
  • «پیش‌بینی تابع زیان بی‌فایده است چون قابلیت‌ها ناگهانی ظاهر می‌شوند.» تابع زیانِ پیوسته، نرم و قابل‌پیش‌بینی است؛ جهش‌های ناگهانی در بنچمارک‌ها عمدتاً دست‌سازه‌های (artifacts) سیستم امتیازدهی هستند.

کجای دوره آموزش داده می‌شود

درس قوانین مقیاس‌پذیری، قانون مقیاس‌پذیری، تقسیم بهینه و دلایل بیش‌آموزش را شرح می‌دهد.