یک توکنساز (tokenizer) مناسب برای محیط عملیاتی (production)، پیش از اجرای هرگونه merge، متن را با استفاده از یک عبارت منظم (regular expression) به تکههای مختلفی تقسیم میکند. نشان دهید خروجی این الگوی کلاسیک روی جملهی Hello, world! Don't stop. چیست و توضیح دهید چرا با وجود امکان اجرای mergeها روی جریان خام متن، اصلاً به این جداسازی اولیه نیاز داریم.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
این الگو جمله را به 8 تکه میشکند: Hello، ,، world، !، Don، 't، stop و .. به این صورت که هر کلمه بعد از کلمهی اول، فاصلهی قبل از خود را نگه میدارد، کلمات مخففشده (contractions) از محل آپاستروف جدا میشوند و علائم نگارشی هم مستقل میمانند. سپس عملیات merge داخل هر تکه اجرا میشود و هیچوقت نمیتواند نمادها را از مرز یک تکه عبور دهد و به هم وصل کند. بدون این جداسازی، مدل در فرایند آموزش mergeهایی را یاد میگیرد که از چند کلمه عبور میکنند؛ در نتیجه، واژگان (vocabulary) با عبارتهای کامل پر میشود و توانایی قطعات حاصل برای تعمیم به متنهای جدید ضعیفتر خواهد بود.
پاسخ کامل
الگوی جداسازی
'(?:[sdmt]|ll|ve|re)| ?\p{L}+| ?\p{N}+| ?[^\s\p{L}\p{N}]+|\s+(?!\S)|\s+
این بخشها به ترتیب عبارتند از: پسوندهای مخفف رایج، یک کلمه همراه با فاصلهی اختیاری قبل از آن، دنبالهای از ارقام همراه با فاصلهی اختیاری قبل از آن، دنبالهای از علائم نگارشی، و فاصلهها. کلاسهای \p{L} و \p{N} به کتابخانهی شخص ثالث regex نیاز دارند؛ کتابخانهی استاندارد پایتون این الگوها را به کلاسهای ASCII تقلیل میدهد که برای متنهای چندزبانه نادرست است.
چرا فاصلهی ابتدایی به کلمه میچسبد؟
hello و hello دو توکن کاملاً متفاوتاند. چسباندن فاصله به ابتدای کلمه باعث میشود قطعهی ابتدای کلمه و قطعهی درون کلمه از هم تفکیک شوند؛ به این ترتیب، بخش رمزگشایی (decoder) میتواند فاصلهگذاریها را صرفاً بر اساس خود توکنها بازسازی کند. به همین دلیل، در هر بار فراخوانی باید صراحتاً مشخص کنید که آیا به ابتدای پرامپت (prompt) فاصلهای اضافه شود یا خیر.
چرا اصلاً متن را قطعهقطعه میکنیم؟
حلقهی merge بر اساس بسامد و با رویکردی حریصانه (greedy) کار میکند. در یک جریان متنی خام، جفتِ کاراکتر «e» به همراه فاصله و سپس «t» بسیار پرتکرار است؛ بنابراین حلقه با کمال میل قطعهای میسازد که انتهای یک کلمه را به ابتدای کلمهی بعدی وصل میکند. چنین قطعاتی قابلانتقال نیستند، چون متن بعدی جفتکلمات متفاوتی خواهد داشت. جداسازی اولیه تضمین میکند که هر merge فقط درون یک کلمه بماند؛ یعنی دقیقاً همان جایی که الگوهای باقاعده و قابلتعمیم وجود دارند.
رویکرد جایگزین در طراحی
توکنسازی که مستقیماً روی متن خام کار میکند، فاصله را درست مانند یک نماد عادی میبیند و تشخیص مرزها را به الگوریتم merge یا هرس (prune) میسپارد. این روش به قوانین زبانی نیازی ندارد و خطهای فاقد فاصله را بهخوبی مدیریت میکند. همچنین اجازه میدهد قطعات از مرز کلمات عبور کنند؛ ویژگیای که فشردهسازی را کمی بهتر، اما خوانایی متن را کمی ضعیفتر میکند.
نسخهی پیادهشده در پروژهی پایانی
یک جداسازی ساده بر اساس فاصلهها و علائم نگارشی. همین مقدار برای نگه داشتن mergeها درون کلمات در یک مجموعهی دادهی آموزشی کوچک کافی است و باقی پایپلاین (pipeline) نیز دستنخورده میماند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا پرامپتی که بدون فاصله شروع میشود با پرامپتی که با فاصله شروع میشود توکنسازی متفاوتی دارد؟ پاسخ مورد انتظار: فاصله بخشی از توکن ابتدای کلمه است؛ در نتیجه کلمهی اول به شناسهی (id) متفاوتی نگاشت میشود؛ رفتار سیستم در قبال فاصلهی پیشوند (prefix-space) باید بهصورت صریح تعیین شود.
- سطح 3: چرا استفاده از ماژول
regexبرای این الگو اهمیت دارد؟ پاسخ مورد انتظار: کلاسهای حروف و ارقام یونیکد، خطها و زبانهای فراتر از ASCII را پوشش میدهند؛ قابلیتی که موتور کتابخانهی استاندارد پایتون فاقد آن است. - سطح 3: صرفنظر کردن از مرحلهی جداسازی و اجرا روی متن خام چه مزایا و معایبی دارد؟ پاسخ مورد انتظار: بینیازی از قوانین زبانی و عملکرد خوب برای خطهای بدون فاصله، در ازای قطعات بینکلمهای که فشردهسازی را کمی بهتر میکنند اما تفسیرپذیری کمتری دارند.
- سطح 3: فایل توکنساز بدون تغییر مانده، اما شناسهها روی دو سیستم مختلف متفاوت هستند. چه عاملی در این مرحله میتواند دلیل آن باشد؟ پاسخ مورد انتظار: یکی از سیستمها به دلیل نصب نبودن ماژول
regexاز الگوی ASCII استفاده کرده و در نتیجه متن به تکههای متفاوتی شکسته شده است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «پیشتوکنسازی (pre-tokenization) صرفاً همان شکستن متن بر اساس فاصلههاست.» خیر؛ این الگو مخففها، ارقام، علائم نگارشی و دنبالههای متوالی فاصله را هم مدیریت میکند و فاصله را متصل به کلمه نگه میدارد.
- «این جداسازی صوری است؛ mergeها خودشان به همین قطعات میرسیدند.» بدون جداسازی، mergeها از مرز کلمات رد میشوند و واژگان پر از عبارتهای کامل میشود.
- «علامت نگارشی را به کلمهی قبلی بچسبانید.» در این صورت
world!وworldدو قطعهی مجزا خواهند بود و واژگان باید هزینهی ذخیرهی تکتک حالتهای گوناگون علائم نگارشی را بپردازد.
کجای دوره آموزش داده میشود
الگو و خروجی آن در درس ساخت توکنساز، دلیل محدود ماندن mergeها در مرز کلمات در پروژهی پایانی BPE، و چالشهای فاصلهگذاری در درس زیرکلمهها بررسی شدهاند.