سه الگوریتم زیرکلمه (Subword) میداندار اصلی این حوزهاند: کدگذاری جفتبایت (Byte-Pair Encoding یا BPE)، وردپیس (WordPiece) و یونیگرام (Unigram). نحوهی ساخت واژگان را در هر سه مقایسه کنید؛ بگویید کدامیک میتواند از قصد دو بخشبندی متفاوت برای یک کلمهی واحد ارائه دهد، و نام ببرید برای پیادهسازی سراغ چه کتابخانههایی میروید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
کدگذاری جفتبایت، مکررترین جفت مجاور را از پایین به بالا merge میکند. WordPiece هم رویکرد پایین به بالا دارد، اما امتیاز هر جفت را از تقسیم تعداد دفعات تکرار قطعهی ادغامشده بر حاصلضرب تکرار اجزای آن به دست میآورد؛ در نتیجه جفتهایی را برمیگزیند که همآیی آنها فراتر از شانس و تصادف باشد و قطعات ادامهدار را با پیشوند دو هش (##) مشخص میکند. Unigram برعکس، از بالا به پایین پیش میرود: کار را با مجموعهی بزرگی از کاندیداها شروع میکند، به هر قطعه احتمالی اختصاص میدهد و قطعاتی را هرس میکند که حذفشان کمترین آسیب را به درستنمایی (Likelihood) پیکره متنی (Corpus) میزند؛ به همین دلیل میتواند برای منظمسازی (Regularization)، بخشبندیهای جایگزین را هم نمونهبرداری کند.
پاسخ کامل
مقایسهی معیارها در کنار هم
BPE merge criterion: count(A, B)
WordPiece merge criterion: count(AB) / (count(A) * count(B))
Unigram: prune the piece whose removal least lowers the corpus log-likelihood
معیار اول میپرسد کدام جفت بیشترین تکرار را دارد. معیار دوم میپرسد کدام جفت بیشتر از آنچه بر اساس اجزایش انتظار میرود، کنار هم ظاهر میشود. معیار سوم بررسی میکند پیکره متنی نبودِ کدام قطعات را راحتتر تاب میآورد.
هر مدل از چه الگوریتمی استفاده میکند؟
| الگوریتم | جهت | نشانهگذار | مورد استفاده در |
|---|---|---|---|
| کدگذاری جفتبایت | merge رو به بالا | حفظ فاصلهی ابتدایی روی قطعات اول کلمه | اغلب خانوادههای دیکودر، با اندازهی واژگان 50,257، 128,256 و بیشتر |
| WordPiece | merge رو به بالا بر اساس نسبت درستنمایی | ## برای قطعات ادامهدار |
انکودر کلاسیک با 30,522 توکن |
| Unigram | هرس رو به پایین | ▁ برای فاصله، وقتی بدون پیشتوکنسازی آموزش ببیند |
یک خانوادهی انکودر-دیکودر با 32,000 توکن |
نمونهبرداری از بخشبندیها
مدل Unigram در مرحلهی استنتاج ماهیتی احتمالاتی دارد. این مدل میتواند محتملترین بخشبندی را برگرداند یا بخشبندی دیگری را نمونهبرداری کند؛ ویژگی مفیدی که در طول آموزش، امکان منظمسازی زیرکلمهای (Subword Regularization) را فراهم میآورد: یک کلمه با چند شکل مختلف وارد مدل میشود و مدل قطعات را با پایداری و استحکام بیشتری یاد میگیرد. در مقابل، الگوریتمهای مبتنی بر merge کاملاً قطعی (Deterministic) هستند.
کتابخانهها
یک کتابخانه وجود دارد که واژگان را برای هر دو الگوریتمِ merge یا هرس، مستقیماً روی متن خام آموزش میدهد؛ فاصله را بهشکل یک نماد مرئی کدگذاری میکند و نیازی به پیشتوکنسازی (pre-tokenization) ندارد؛ به همین دلیل گزینهی پیشفرض برای کارهای چندزبانه به شمار میرود. کتابخانهی دوم که با زبان Rust توسعه یافته، بسیار سریع است و با واژگان یک خانوادهی پرکاربرد از APIها همخوانی دارد، اما فقط کدگذاری (encode) انجام میدهد. کتابخانهی سوم هم آموزش و هم سرویسدهی هر دو الگوریتم را یکجا فراهم میکند.
انتخاب گزینهی مناسب
آموزش مدل تکزبانه: کدگذاری جفتبایت. آموزش مدل چندزبانه: Unigram با پوشش کاراکتری (Character Coverage) نزدیک به 0.9995. سرویسدهی منطبق بر واژگان یک API موجود: کتابخانهی فقط-انکودر. استنتاج روی لبه (Edge inference) با یک مدل کوچک: Unigram با اندازهی واژگان کوچکتر.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: منظمسازی زیرکلمهای چیست؟ پاسخ مورد انتظار: آموزش روی بخشبندیهای نمونهبرداریشده از مدل Unigram، بهگونهای که یک کلمه در قالب چند شکل مختلف وارد فرایند آموزش شود.
- سطح 2: استفاده از نماد مرئی برای فاصله چه فایدهای دارد؟ پاسخ مورد انتظار: فاصله به یک نماد معمولی تبدیل میشود؛ بنابراین توکنساز نیازی به پیشتوکنسازی ندارد و برای خطوط و رسمالخطهای فاقد فاصله نیز کار میکند.
- سطح 3: چه الگوریتم و تنظیمی برای واژگان چندزبانه مناسب است؟ پاسخ مورد انتظار: Unigram آموزشدیده روی متن خام با پوشش کاراکتری نزدیک به 0.9995، تا رسمالخطهای نادر بهجای نگاشت به توکن ناشناخته (unknown)، حفظ شوند.
- سطح 3: چرا یک کتابخانهی فقط-انکود نمیتواند توکنساز شما را آموزش دهد؟ پاسخ مورد انتظار: این کتابخانه صرفاً واژگان ازپیشساخته و یک انکودر سریع ارائه میدهد؛ مرحلهی آموزش بر عهدهی دو کتابخانهی دیگر است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «WordPiece و کدگذاری جفتبایت روی یک پیکره متنی یکسان، واژگان یکسانی میسازند.» خیر، معیارهای آنها متفاوت است، پس mergeهای متفاوتی انجام میدهند؛ نسبت درستنمایی جفتهای غافلگیرکننده را به جفتهایی که صرفاً پربسامدند ترجیح میدهد.
- «Unigram هم مثل الگوریتمهای مبتنی بر merge قطعی است.» خیر، این الگوریتم احتمالاتی است و میتواند از قصد بخشبندیهای متفاوتی را نمونهبرداری کند.
- «کتابخانهای که فاصله را بهشکل یک نماد کدگذاری میکند، خودش یک الگوریتم است.» خیر، آن یک کتابخانه است که میتواند هر کدام از الگوریتمهای merge یا هرس را روی متن خام آموزش دهد.
کجای دوره آموزش داده میشود
در درس توکنسازی زیرکلمه این سه الگوریتم و کتابخانهها مقایسه شدهاند و در درس توکنسازها به معیارهای merge و اندازهی واژگان پرداخته شده است.