سؤال مصاحبه

چرا مدل‌ها زیرکلمه‌ها را می‌خوانند و از بایت‌ها شروع می‌کنند؟

Why models read subwords and start from bytes

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

چرا همه‌ی مدل‌های زبانی امروزی به‌جای کلمات کامل یا تک‌کاراکترها، توکن‌های زیرکلمه (subword tokens) را می‌خوانند، و چرا اکثر آن‌ها دایره‌ی واژگان خود را بر پایه‌ی بایت‌های خام می‌سازند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دایره‌ی واژگان مبتنی بر کلمه نمی‌تواند همه‌ی کلمات را در خود جای دهد؛ در نتیجه هر کلمه‌ی جدید به یک توکن ناشناخته (unknown token) تبدیل می‌شود و مدل سیگنال معنایی را از دست می‌دهد. کاراکترها هیچ‌وقت شکست نمی‌خورند، اما طول توالی‌ها را چندین برابر می‌کنند و اتنشن (attention) را هدرِ هجی کردن حروف می‌کنند. زیرکلمه‌ها کلمات رایج را یکپارچه نگه می‌دارند و کلمات نادر را به بخش‌های معنادار خرد می‌کنند. شروع از 256 مقدار بایتی هم یعنی هر ورودی در هر خط و زبانی، بدون هیچ توکن ناشناخته‌ای کدگذاری می‌شود.

پاسخ کامل

سه گزینه‌ی پیش رو

سطح دایره‌ی واژگان نقطه‌ی ضعف
کلمه بسیار بزرگ، و با این حال ناقص توکن ناشناخته برای هر مورد دیده‌نشده؛ انگلیسی به‌تنهایی بیش از یک میلیون شکل کلمه دارد
کاراکتر چند صد مورد یک جمله‌ی 10 کلمه‌ای حدود 50 توکن می‌شود؛ مدل باید از نو یاد بگیرد که t و h و e در کنار هم یک کلمه را می‌سازند
زیرکلمه 30K تا 128K هیچ‌کدام از مشکلات بالا؛ کلمات نادر به تکه‌ها خرد می‌شوند

کلمه‌ای نادر مثل «unhappiness» شامل 11 توکن کاراکتری یا 3 تکه‌ی زیرکلمه‌ای است: un و happi و ness. این تکه‌ها معنایی به همراه دارند که مدل می‌تواند دوباره از آن استفاده کند.

چرا بایت‌ها در پایین‌ترین سطح قرار می‌گیرند؟

دایره‌ی واژگان در سطح بایت، هر کدام از 256 مقدار بایتی را یک توکن پایه در نظر می‌گیرد و mergeها را روی آن‌ها یاد می‌گیرد. هر رشته‌ای در هر نوع کدگذاری، توالی‌ای از بایت‌هاست؛ بنابراین هیچ چیزی ناشناخته نمی‌ماند و هیچ زبانی به پردازش خاصی نیاز ندارد. دایره‌ی واژگان معروف 50,257 توکنی دقیقاً از 256 بایت به‌علاوه‌ی 50,000 تا merge و یک توکن خاص تشکیل شده است.

چرا این یک تصمیم معماری است، نه پیش‌پردازش؟

توکنایزر تعیین می‌کند که مدل در تمام طول عمر خود چه چیزی را ببیند. دایره‌ی واژگانی که یک کلمه‌ی رایج را به چهار تکه خرد کند، در هر درخواست پنجره‌ی بافتار (context window) و توان محاسباتی را هدر می‌دهد؛ انتخابی که بعد از آموزش مدل دیگر قابل بازگشت نیست. قیمت‌گذاری و تاخیر (latency) هر دو به ازای هر توکن محاسبه می‌شوند؛ بنابراین توکنایزر مستقیماً در مدل هزینه‌ هم جای می‌گیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: نرخ باروری (fertility) چه چیزی را اندازه می‌گیرد؟ انتظار می‌رود: میانگین تعداد توکن‌ها به ازای هر کلمه؛ مقدار 1.0 یعنی یک توکن برای هر کلمه، و مقادیر بالاتر یعنی مدل برای پردازش همان متن کار بیشتری انجام می‌دهد.
  • سطح 2: چرا با دایره‌های واژگانِ سطح بایت، توکن ناشناخته از بین می‌رود؟ انتظار می‌رود: چون هر بایت خودش یک توکن است؛ پس هر ورودی، قبل از اعمال هرگونه merge، به توکن‌های شناخته‌شده تجزیه می‌شود.
  • سطح 2: دایره‌ی واژگان بسیار کوچک در مرحله‌ی استنتاج (inference) چه هزینه‌ای دارد؟ انتظار می‌رود: توالی‌های طولانی‌تر؛ در نتیجه گذر رو به جلو‌های (forward passes) بیشتر به ازای هر پاسخ و متن کمتر در هر پنجره‌ی بافتار.
  • سطح 3: چرا نمی‌توان توکنایزر نامناسب را بعد از آموزش اصلاح کرد؟ انتظار می‌رود: چون سطرهای امبدینگ (embedding) و تک‌تک وزن‌ها بر اساس همان شناسه‌ها (idها) آموزش دیده‌اند؛ شناسه‌های جدید معنای یادگرفته‌شده‌ای ندارند و متن قبلی به شکل متفاوتی نگاشت می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کاراکترها امن‌ترین انتخاب هستند، چون هیچ‌چیز ناشناخته نمی‌ماند.» بایت‌ها هم همین تضمین را می‌دهند، و کاراکترها طول هر توالی را چندین برابر می‌کنند.
  • «فهرست بزرگ‌تری از کلمات مشکل توکن‌های ناشناخته را حل می‌کند.» کلمات جدید، غلط‌های املایی، کدها و زبان‌های دیگر مدام اضافه می‌شوند؛ هیچ فهرست کلمه‌ای کامل نیست.
  • «توکن همان کلمه است.» توکن بسته به mergeها می‌تواند یک بایت، تکه‌ای از یک کلمه، یک کلمه‌ی کامل یا یک عبارت کوتاه باشد.

کجای دوره آموزش داده می‌شود

در درس توکن‌سازی زیرکلمه الگوریتم‌ها با هم مقایسه شده‌اند و در درس توکنایزرها این سه گزینه از طریق مثال‌ها بررسی می‌شوند.