دو پیادهسازی از تابع decode یک توکنساز بایتمحور (byte-level tokenizer) برای بررسی ارسال شده است. متغیر vocab هر شناسه (id) را به یک شیء bytes نگاشت میکند.
def decode_a(self, ids):
byte_sequence = b"".join(self.vocab[t] for t in ids)
return byte_sequence.decode("utf-8", errors="replace")
def decode_b(self, ids):
return "".join(self.vocab[t].decode("utf-8") for t in ids)
هر دو تابع آزمونهای زبان انگلیسی را با موفقیت پشت سر میگذارند. کدامیک برای ایموجیای که بایتهایش بین دو توکن پخش شده درست کار میکند؟ چرا پیادهسازی درست همیشه به پایان میرسد، و کاربرد errors="replace" چیست؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
اول همهی بایتها را به هم وصل (join) و سپس یکباره رمزگشایی کنید؛ درست همان کاری که decode_a انجام میدهد. نویسهای چندبایتی مثل ایموجی (که در UTF-8 چهار بایت است) میتواند بین دو یا چند توکن تقسیم شود؛ بنابراین رمزگشایی بایتهای هر توکن بهتنهایی، به یک توالی ناقص برخورد میکند و یا خطا میدهد یا نویسههای جایگزین (replacement characters) درج میکند. اتصال یکجای بایتها از این جهت درست کار میکند که هر شناسه یا یکی از 256 بایت خام است یا حاصل پیوند (concatenation) دو شناسهی قبلی؛ بنابراین بسط شناسهها به بایت همیشه به بایتهای خام ختم میشود و رشتهبایت نهایی در صورتی که ورودی معتبر بوده باشد، یک رشتهی UTF-8 معتبر خواهد بود. گزینهی replace مانع از پرتاب خطا توسط رمزگشا در شرایطی میشود که مدل یک نویسهی ناقص را در انتهای جریان استریمینگ تولید کند.
پاسخ کامل
چرا تقسیم بایتها رخ میدهد؟
واژگانِ یک توکنساز بایتمحور از بایتهای تکی شروع میکند و mergeها را از پیکره متنی یاد میگیرد. ایموجیای که در دادههای آموزشی بهندرت تکرار شده باشد، شاید هیچ merge مشخصی برای پوشش دادن هر 4 بایت خود نداشته باشد؛ بنابراین انکودر آن را به دو توکن تبدیل میکند (مثلاً یک توکن 3 بایتی و یک توکن 1 بایتی). بایتهای هر توکن بهتنهایی UTF-8 معتبر نیستند. نویسههای خطهایی با نویسههای 3 بایتی نیز هر زمان که یک merge تنها بخشی از یک نویسه را بپوشاند، با همین مشکل مواجه میشوند.
چرا اتصال بایتها خاتمه مییابد و بازگشتپذیری دارد؟
پروژهی نهایی این تضمین را مشخص میکند: انکود و سپس رمزگشایی دقیقاً بایتهای ورودی را برمیگرداند. رمزگشا بسط بایتیِ هر شناسه را به ترتیب به هم متصل میکند. از آنجا که هر شناسه یک بایت خام یا حاصل پیوند دو شناسهی مشخص است، بسط بازگشتی در نهایت به بایتهای خام ختم میشود و پیوند همهی توکنها همان رشتهبایت اولیه را میسازد. رمزگشایی UTF-8 سپس متن اصلی را بازمیگرداند. مجموعهآزمونها این ویژگی را روی یک جملهی دیدهنشده، یک جمله دارای ایموجی و جملهای حاوی عینِ رشتهی متنیِ یک توکن ویژه بررسی و تثبیت میکنند.
توکنهای ویژه در فرایند خروجی
رمزگشای پروژهی نهایی ابتدا جدول توکنهای ویژه را بررسی میکند و بایتهای UTF-8 نشانگر مربوطه را میافزاید، سپس به سراغ واژگان میرود و اگر شناسه در هیچکدام نباشد خطا صادر میکند. این سازوکار مانع از آن میشود که یک شناسهی رزروشده بهاشتباه به عنوان یک merge جستوجو شود.
کاربرد errors="replace" چیست؟
مدل ممکن است درست در میانهی یک نویسه متوقف شود، یا جریان استریمینگ دقیقاً بین دو توکنی که یک نویسه را به اشتراک دارند قطع شود. رمزگشایی سختگیرانه خطا پرتاب میکند؛ اما حالت replace یک نویسهی جایگزین درج کرده و فرایند را ادامه میدهد. در یک رمزگشای استریمینگ، الگوی بهتر این است که بایتهای انتهایی تا زمان تکمیل شدن نویسه در بافر نگهداری شوند و گزینهی replace فقط هنگام تخلیهی نهایی بافر (flush) به کار رود.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا
decode_bآزمونهای متن انگلیسی را پاس میکند؟ پاسخ مورد انتظار: نویسههای ASCII تکبایتی هستند، بنابراین هیچ توکنی بخشی از یک نویسه را در خود نگه نمیدارد و هر قطعه بهتنهایی رمزگشایی میشود. - سطح 3: رمزگشای استریمینگ را در دو جمله طراحی کنید. پاسخ مورد انتظار: بایتها را انباشته کنید و فقط طولانیترین پیشوندی را که یک UTF-8 کامل است خارج کنید و باقیمانده را نگه دارید؛ در انتهای استریم با استفاده از replacement بافر را خالی کنید.
- سطح 3: چرا یک توکنساز در سطح کلمه نمیتواند تضمین بازگشتپذیری بدهد؟ پاسخ مورد انتظار: کلمات دیدهنشده به شناسهی کلمهی ناشناخته (unknown id) نگاشت میشوند و شناسهی ناشناخته را نمیتوان دوباره به متن اصلی برگرداند.
- سطح 3: مجموعهآزمونهای پروژهی نهایی از کدام سه ورودی برای بازگشتپذیری استفاده میکنند؟ پاسخ مورد انتظار: یک جملهی دیدهنشده، یک جمله با ایموجی، و جملهای حاوی عینِ رشتهی متنی یک توکن ویژه.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «هر توکن را به رشته رمزگشایی کرده و سپس رشتهها را به هم متصل کنید.» یک توکن میتواند تنها بخشی از یک نویسه باشد و UTF-8 ناقص، رشته به شمار نمیآید.
- «به رمزگشا بگویید خطاها را نادیده بگیرد تا هیچ خطایی پرتاب نشود.» نادیده گرفتن خطاها باعث حذف بیسروصدای بایتها میشود و بازگشتپذیری دیگر دقیق نخواهد بود؛ نویسهی جایگزین حداقل این افت اطلاعات را نشان میدهد.
- «بازگشتپذیری فقط برای دادههای آموزشی اهمیت دارد.» تمام پاسخهای تولیدشده از مرحلهی رمزگشایی عبور میکنند، و سروری که روی یک ایموجی خطا بدهد، کل درخواست را رد میکند.
کجای دوره آموزش داده میشود
پروژهی نهایی BPE تضمین بازگشتپذیری را تعریف کرده و میآزماید؛ درس توکنسازها تابع اتصال و سپس رمزگشایی را آموزش میدهد؛ و درس ساخت توکنساز تعداد بایتها برای ایموجیها و خطهای دیگر را مشخص میکند.