طراحی و پیادهسازی یک توکنساز (tokenizer) برای یک مدل زبانی کوچک: آموزش آن روی یک پیکره متنی (corpus)، انکود متن جدید، رمزگشایی (decode) شناسهها به متن اولیه، و رزرو دو توکن ویژه برای مرزهای اسناد و پدینگ (padding). تضمینهایی را که مجموعهی آزمون باید تثبیت کند مشخص کنید، و توضیح دهید توکنهای ویژه چطور بدون اینکه هرگز merge شوند، هم در طول آموزش و هم در استنتاج دستنخورده باقی میمانند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
نمادهای پایه همان 256 بایت خام هستند؛ بنابراین هر ورودی، حتی پیش از هرگونه merge، قابل انکود است و فرایند رمزگشایی همیشه به بایت ختم میشود. آموزش روی تکههای پیشتوکنسازیشدهای (pre-tokenized) اجرا میشود که هرگز شامل رشتههای ویژه نیستند؛ در نتیجه هیچ mergeای نمیتواند یک شناسهی ویژه تولید یا مصرف کند. در زمان استنتاج، یک تطبیقدهنده ابتدا متن را بر اساس رشتههای ویژه جدا میکند، هر کدام را به شناسهی رزروشدهاش مینگارد، و جدول ادغام (merge table) را روی متن بین آنها به همان ترتیب آموزش اعمال میکند. مجموعهی آزمون، بازگشتپذیری (round-trip) را روی متن دیدهنشده، روی متن با نویسههای چندبایتی، و روی متنی که حاوی رشتهی ویژهی لفظی با فلگ خاموش است تثبیت میکند.
پاسخ کامل
پایپلاین
- نرمالسازی متن به یک فرم واحد یونیکد، تا کلمهی ظاهراً یکسان بایتهای یکسانی تولید کند.
- تفکیک متن بر اساس رشتههای ویژه در صورتی که فراخواننده اجازهی آنها را داده باشد، و نگاشت هر تطابق به شناسهی رزروشدهاش.
- پیشتوکنسازی (pre-tokenization) متن باقیمانده به تکههایی بر اساس مرزهای فاصلهی خالی و علائم نگارشی.
- اعمال جدول ادغام روی بایتهای هر تکه به ترتیب زمان آموزش، با جایگزینی چپبهراست و بدون همپوشانی (overlap).
- الحاق شناسهها به یکدیگر.
رمزگشایی، مراحل دو تا پنج را معکوس میکند: هر شناسه را به بایتهایش باز کنید، جایی که یک شناسهی mergeشده به بایتهای دو والد خود باز میشود و یک شناسهی ویژهی رزروشده به بایتهای UTF-8 رشتهاش تبدیل میگردد، و سپس رشتهی بایتی را رمزگشایی کنید. نرمالسازی برگشتپذیر نیست. یک علامت اعرابِ تجزیهشده (decomposed) به شکل نویسهی ترکیبی (composed) برمیگردد؛ بنابراین بازگشتپذیری فقط برای متنی دارای تطابق دقیق (Exact Match) است که از قبل در فرم نرمالشده باشد.
چرا پیشتوکنسازی؟
بدون این جداسازی، عملهای merge از مرز کلمات عبور میکنند و واژگان با عبارتهای رایجی پر میشود که تعمیمپذیر نیستند. این تفکیک، عملهای merge را درون یک کلمه نگه میدارد. مرزهای تکهها همچنین مانع از آن میشوند که یک merge در زمان استنتاج، انتهای یک کلمه و ابتدای کلمهی بعدی را در یک اسپن (span) ادغام کند؛ هماهنگی آموزش و استنتاج دقیقاً از همین طریق حفظ میشود.
توکنهای ویژه
شناسههای بعد از بلوک بایتها بهصورت دستی رزرو میشوند. حلقهی آموزش هرگز رشتههای ویژه را نمیبیند؛ زیرا پیکره متنی پیش از شمارش جفتها خرد شده و رشتههای ویژه حذف میشوند. بنابراین هیچ مقصد mergeای نمیتواند یک شناسهی ویژه باشد و هیچ mergeای هم نمیتواند شامل آن شود. در زمان استنتاج، انکودر یک فلگ میگیرد. اگر فلگ خاموش باشد، نویسههای یک رشتهی ویژه بایتهای معمولی تلقی شده و به همان شکل توکنسازی میشوند. با روشن بودن فلگ، رشتهی دقیق به شناسهی رزروشدهاش نگاشت میشود و مشمول هیچ mergeای نمیگردد. تطبیقدهنده ابتدا رشتههای ویژهی طولانیتر را بررسی میکند تا اگر رشتهای درون دیگری بود، رشتهی کاملتر تطبیق داده شود.
تضمینهایی که باید تثبیت شوند
| تضمین | آزمون |
|---|---|
| بازگشتپذیری روی متن دیدهنشده | انکود و سپس رمزگشایی، دقیقاً همان بایتهای ورودی نرمالشده را برمیگرداند |
| نویسههای چندبایتی | بازگشتپذیری یک جمله شامل یک ایموجی چهاربایتی بدون خطا انجام میشود |
| رشتهی ویژهی لفظی با فلگ خاموش | رشته بهصورت متن رمزگشایی میشود، نه بهعنوان یک مرز |
| رشتهی ویژه با فلگ روشن | دقیقاً یک شناسه، همان شناسهی رزروشده، ظاهر میشود |
| ترتیب merge | لیست merge یکسان در انکودهای مکرر شناسههای یکسانی تولید میکند |
| محدودهی رزروشده | هیچ mergeای در جدول، شناسهی ویژه را بهعنوان والد یا فرزند ندارد |
منحنی فشردهسازی
تعداد شناسهها برای یک جملهی نگهداشتهشده (held-out) با افزایش بودجهی merge کاهش مییابد. آموزش با اندازهی واژگان (vocabulary size) هدفِ 300 و سپس 600 شناسه روی پیکره متنی درس، این افت را مستقیماً نشان میدهد؛ همین منحنی معیاری است که اندازهی واژگان را توجیه میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا 256 شناسهی اول بهجای نویسههای پیکره متنی برای بایتها رزرو شدهاند؟ پاسخ مورد انتظار: در این صورت هر ورودی، از جمله متونی با خطهایی که هرگز در پیکره متنی وجود نداشتهاند، بدون نیاز به توکن ناشناخته قابل انکود است.
- سطح 4: نشانگرهای الگوی چت (chat template) در کجای این طراحی قرار میگیرند؟ پاسخ مورد انتظار: آنها توکنهای ویژهای درست مثل توکن مرزی هستند که پیش از mergeها بهصورت تطابق دقیق بررسی میشوند و شناسههای ثابتی دارند که مدل روی آنها آموزش دیده است؛ یک الگوی اشتباه، ورودی را خارج از توزیع دادههای آموزش قرار میدهد.
- سطح 4: چگونه از مدلی که در محیط عملیاتی (production) مستقر شده در برابر دریفت (drift) توکنساز محافظت میکنید؟ پاسخ مورد انتظار: جدول ادغام و نگاشت توکنهای ویژه را هش کنید، و این هش را در پایپلاین پیش از آموزش و پیش از سرویسدهی بررسی کنید؛ یک جدول متفاوت شناسههای متفاوتی را رمزگشایی میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «توکنهای ویژه را به پیکره متنی اضافه کنید تا مدل آنها را یاد بگیرد.» در این صورت ممکن است با همسایهها merge شوند و دیگر شناسههای تکی نباشند.
- «رشتههای ویژه را بعد از mergeها تطبیق دهید.» mergeها قبلاً رشته را به قطعات بایتی خرد کردهاند، بنابراین تطبیقدهنده هرگز آن را نخواهد دید.
- «رمزگشایی از طریق جستوجوی رشته بهازای هر شناسه در یک دیکشنری.» شناسهها بایت هستند و یک نویسهی چندبایتی میتواند بین چند شناسه پخش شود؛ ابتدا بایتها را به هم متصل کنید، سپس کل آن را رمزگشایی نمایید.
کجای دوره آموزش داده میشود
درس BPE از صفر پایهی بایتی، شناسههای ویژهی رزروشده و آزمونهای بازگشتپذیری را پوشش میدهد؛ درس توکنساز محیط عملیاتی نرمالسازی، پیشتوکنسازی و تطابق دقیق رشتههای ویژه را اضافه میکند؛ و تمرین BPE به مرحلهی merge درون آن اختصاص دارد.