سؤال مصاحبه

تحلیل عددیِ افزایش اندازه‌ی واژگان به 128K

Put numbers on growing the vocabulary to 128K

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

تیمی می‌خواهد اندازه‌ی واژگان (Vocabulary size) یک مدل جدید را از 32K به 128K توکن افزایش دهد. بُعد امبدینگ‌ها 4,096 است. هزینه‌ها و دستاوردهای این تغییر را با اعداد و ارقام مشخص کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ماتریس امبدینگ (Embedding) از ابعاد 32,000 در 4,096 (حدود 131 میلیون پارامتر) به 128,000 در 4,096 (حدود 524 میلیون پارامتر) می‌رسد؛ یعنی فقط از سمت توکنایزر نزدیک به 400 میلیون پارامتر اضافه می‌شود، و یک هد (Head) خروجیِ جداگانه (untied) نیز دوباره همین مقدار هزینه برمی‌دارد. در ازای آن، متن فشرده‌تر می‌شود: یک پاراگراف انگلیسی که با واژگان 32K حدود 100 توکن می‌شد، با واژگان 128K به حدود 70 توکن می‌رسد. در نتیجه، تولید همان پاراگراف به حدود 30 درصد گذر رو به جلو (forward pass) کمتری نیاز دارد و خطوط نگارشی غیرانگلیسی بیشترین بهره را می‌برند. قاعده‌ی سرانگشتی درس چنین است: زیر 1 میلیارد پارامتر از 32k استفاده کنید؛ بین 1 تا 10 میلیارد پارامتر از 50 تا 100k؛ و برای مدل‌های چندزبانه یا مدل‌های پیشرو (Frontier Models) به سراغ 200k و بالاتر بروید.

پاسخ کامل

بخش هزینه‌ها

32,000  x 4,096 = about 131M parameters
128,000 x 4,096 = about 524M parameters
difference      = about 400M

هر سطر یک امبدینگ است که مدل باید آن را یاد بگیرد، و سطرهای کم‌تکرار به‌روزرسانی‌های گرادیان (gradient) اندکی دریافت می‌کنند. یک مدل کوچک با واژگان بسیار بزرگ، بخش عمده‌ای از پارامترهایش را در یک جدول جستجو (Lookup Table) مصرف می‌کند.

بخش مزایا

اندازه‌ی واژگان توکن به ازای هر کلمه‌ی انگلیسی
30,522 حدود 1.4
50,257 حدود 1.3
100,256 حدود 1.2
128,256 حدود 1.1
200,019 حدود 1.0

توکن کمتر به ازای هر کلمه یعنی توالی‌های کوتاه‌تر؛ بنابراین هر پاسخ به گذرهای رو به جلوی کمتری نیاز دارد و هر پنجره‌ی بافتار (Context Window) متن بیشتری را در خود جای می‌دهد. برای مدلی که به میلیون‌ها درخواست پاسخ می‌دهد، تولید خروجی‌هایی از این دست به حدود 30 درصد گذر رو به جلوی کمتری نیاز دارد.

چه کسانی بیشترین سود را می‌برند؟

انگلیسی در همان 32K هم به‌خوبی فشرده می‌شود. اما خطوط نگارشی دیگری که در واژگانِ انگلیسی‌محور به سطح بایت خرد می‌شوند، سود بسیار بیشتری می‌برند؛ به همین دلیل بود که یک خانواده از مدل‌ها اندازه‌ی واژگان خود را چهار برابر کرد و از 32K به 128K رساند.

تصمیم‌گیری

اندازه‌ی واژگان همگام با مدل و ترکیب زبان‌ها مقیاس می‌گیرد. زیر 1 میلیارد پارامتر، امبدینگ بر کل مدل مسلط می‌شود؛ پس نزدیک 32k بمانید. بین 1 تا 10 میلیارد پارامتر، بازه‌ی 50 تا 100k مناسب است. برای کاربردهای چندزبانه در هر مقیاسی، باید به سمت 200k و بالاتر push کنید. درستی انتخاب خود را با نرخ توکن بر کلمه روی داده‌های نگه‌داشته‌شده (Held-out)، نرخ توکن‌های ناشناخته، نسبت فشرده‌سازی (Compression ratio) و آزمون تبدیل رفت‌وبرگشتیِ دقیق در سطح بایت (byte-exact round trip) بسنجید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا توکن کمتر به ازای هر کلمه، استنتاج را سریع‌تر می‌کند؟ پاسخ مورد انتظار: تولید متن به‌ازای هر توکن نیازمند یک گذر رو به جلو است؛ بنابراین توکن کمتر برای همان متن یعنی گذرهای کمتر.
  • سطح 3: واژگان 128K چه تغییری در بخش خروجی مدل ایجاد می‌کند؟ پاسخ مورد انتظار: هد خروجی به‌ازای هر توکن یک سطر دارد، پس همگام با امبدینگ رشد می‌کند؛ و اگر هد جداگانه باشد، پارامترهای اضافی دو برابر می‌شوند.
  • سطح 3: چرا خانواده‌ی مدلِ مطرح‌شده در درس از 32K به 128K مهاجرت کرد؟ پاسخ مورد انتظار: برای فشرده‌سازی عادلانه‌تر در زبان‌های مختلف؛ واژگانِ انگلیسی‌محورِ قبلی عملاً اندازه‌ی پنجره‌ی بافتار را برای سایر خطوط نگارشی به نصف کاهش داده بود.
  • سطح 4: چگونه اندازه‌ی واژگان را پیش از آموزش اعتبارسنجی می‌کنید؟ پاسخ مورد انتظار: بررسی توکن بر کلمه برای هر زبان روی متن نگه‌داشته‌شده، نرخ توکن‌های ناشناخته، نسبت فشرده‌سازی در مقایسه با یک انکودر مرجع، و آزمون تبدیل رفت‌وبرگشتیِ دقیق در سطح بایت.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «واژگان بزرگ‌تر همیشه بهتر است.» زیر 1 میلیارد پارامتر، سطرهای اضافی بر مدل مسلط می‌شوند و سطرهای کم‌تکرار آموزش کافی نمی‌بینند.
  • «امبدینگ در مقایسه با کل مدل خطای گردکردن است و به چشم نمی‌آید.» در ابعاد 128K در 4,096، این ماتریس حدود 524 میلیون پارامتر دارد.
  • «اندازه‌ی واژگان اثری روی هزینه‌ی پردازش هر درخواست ندارد.» تعداد توکن به ازای هر کلمه طول توالی را تعیین می‌کند، و طول توالی هم تعداد گذرهای رو به جلو و سقف پنجره‌ی بافتار را مشخص می‌سازد.

کجای دوره آموزش داده می‌شود

درس توکنایزرها محاسبات امبدینگ را انجام می‌دهد و جدول نرخ باروری (fertility) را ارائه می‌کند، و درس زیرکلمه قاعده‌ی سرانگشتیِ تعیین اندازه و برنامه‌ی اعتبارسنجی را آموزش می‌دهد.