سؤال مصاحبه

طراحی توکن‌ساز برای یک مدل چندزبانه و کدنویسی

Design the tokenizer for a multilingual coding model

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

فرض کنید می‌خواهید آموزش یک مدل 7B را شروع کنید که باید زبان‌های متعددی را پوشش دهد و هم‌زمان در کدنویسی هم بسیار قوی باشد. توکن‌ساز (tokenizer) آن را طراحی کنید: الگوریتم، کتابخانه، اندازه‌ی واژگان (vocabulary size)، تنظیمات پوشش کاراکتری (character coverage) و برنامه‌ی اعتبارسنجی که آغاز فرایند آموزش را به تأیید آن مشروط می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک واژگان توکن‌سازی زیرکلمه (subword tokenization) مجهز به طرح پشتیبان بایتی (byte-fallback) را روی پیکره‌ای متنی (corpus) آموزش دهید که نسبت ترکیبی زبان‌ها و کدهای هدف را بازتاب دهد. از پیش‌توکن‌سازی (pre-tokenization) استفاده کنید که فاصله‌های ابتدایی کلمات را نگه دارد و ارقام و علائم نگارشی را جدا کند تا کدها تمیز توکن‌سازی شوند. برای مدلی در بازه‌ی 1 تا 10B، قاعده‌ی سرانگشتی 50 تا 100k توکن است که نیاز به چندزبانه بودن، این مقدار را به سقف این بازه یا فراتر از آن push می‌کند. پوشش کاراکتری را نزدیک 0.9995 بگذارید تا خط‌های نگارشی کمیاب حفظ شوند، نه اینکه به توکن ناشناخته نگاشت شوند. آغاز آموزش را مشروط کنید به: تعداد توکن به ازای هر کلمه برای هر زبان، نرخ توکن‌های ناشناخته، نسبت فشرده‌سازی (compression ratio) در مقایسه با یک انکودر مرجع و چرخه‌ی رفت‌وبرگشت دقیق در سطح بایت؛ همچنین پیش از نخستین گام آموزش، هش فایل توکن‌ساز را در فرایند CI فریز کنید.

پاسخ کامل

الگوریتم و کتابخانه

جدول این درس نشان می‌دهد که برای کارهای چندزبانه، الگوریتم مبتنی بر هرس روی متن خام گزینه‌ی مناسب‌تری است؛ چون به پیش‌توکن‌سازیِ وابسته به زبان خاصی نیاز ندارد و خط‌های نگارشی بدون فاصله را به‌خوبی مدیریت می‌کند. در مقابل، الگوریتم مبتنی بر merge برای پیکره‌های تک‌زبانه توصیه می‌شود. با این حال، در یک نیاز ترکیبی اگر پیکره درست باشد، هر دو الگوریتم جواب می‌دهند؛ در واقع ترکیب داده‌های پیکره بسیار تعیین‌کننده‌تر از خود الگوریتم است. از کتابخانه‌ای استفاده کنید که امکان آموزش واژگان را داشته باشد، نه ابزاری که فقط با واژگان مدل‌های دیگر انکود می‌کند. در هر دو حالت، طرح پشتیبان بایتی را روشن بگذارید تا هیچ ورودی‌ای ناشناخته نماند.

اندازه‌ی واژگان

مقیاس مدل قاعده‌ی سرانگشتی
کمتر از 1B حدود 32k
1 تا 10B 50 تا 100k
چندزبانه یا مدل‌های مرز دانشی (frontier) 200k به بالا

یک مدل 7B با خط‌های نگارشی متعدد، در بالای سطر دوم این جدول جای می‌گیرد. هر سطرِ اضافه‌شده به واژگان، یک امبدینگ (embedding) تازه برای یادگیری است. ماتریس امبدینگ با 128,000 سطر و بعد 4,096 حدود 524M پارامتر مصرف می‌کند؛ بنابراین تعیین اندازه، تصمیمی برای مدیریت بودجه است نه یک عدد ثابت. دستاورد این کار در نرخ باروری (fertility) دیده می‌شود: واژگانی که بخش عمده‌اش انگلیسی باشد، برای سایر خط‌ها 2 تا 3 توکن به ازای هر کلمه یا بدتر از آن تولید می‌کند و متن‌های غیرلاتین ممکن است 5 تا 10 برابر توکن بیشتری مصرف کنند؛ یک واژگان چندزبانه‌ی بزرگ‌تر دقیقاً همین مشکل را برطرف می‌کند.

پوشش کاراکتری و پردازش کد

  • پوشش کاراکتری را برای یک پیکره‌ی ترکیبی نزدیک 0.9995 تنظیم کنید؛ وقتی خط‌های نگارشی کمیاب در داده‌ها حضور دارند، هیچ مقداری زیر 0.995 را قبول نکنید.
  • طرح پشتیبان بایتی را برای تمام مواردی که پوشش کاراکتری پوشش نمی‌دهد فعال نگه دارید.
  • از پیش‌توکن‌سازی استفاده کنید که فاصله‌ی ابتدایی کلمات را حفظ کند، دنباله‌های ارقام و علائم نگارشی را جدا کند و دنباله‌های فاصله‌ی خالی را مدیریت کند تا تورفتگی‌ها و عملگرها در کد به قطعات پایداری تبدیل شوند. نویسه‌های زبان چینی هر کدام 3 بایت هستند و نیاز به mergeهای اختصاصی خود دارند؛ بنابراین پیکره باید تعداد کافی از این نویسه‌ها را داشته باشد.
  • توکن‌های ویژه و نشانگرهای چت را همان ابتدا با شناسه‌های (id) ثابت رزرو کنید، طوری که هیچ mergeای نتواند آن‌ها را تولید کند.

پیکره‌ی متنی

نمونه‌گیری از متن آموزش توکن‌ساز را دقیقاً با همان نسبت‌هایی انجام دهید که می‌خواهید مدل در آن‌ها تسلط داشته باشد. همچنین می‌توانید یک واژگان تخصصی دامنه‌محور را روی پیکره‌ی کد آموزش دهید و با واژگان پایه merge کنید. توکن‌سازی که روی نمونه‌ای با سهم بسیار بالای انگلیسی آموزش دیده باشد، در تمام طول عمر مدل به سایر خط‌ها خدمات ضعیفی خواهد داد.

برنامه‌ی اعتبارسنجی

  1. تعداد توکن به ازای هر کلمه، تفکیک‌شده برای هر زبان و برای کد، روی متن نگه‌داشته‌شده (held-out)؛ این همان جدول نرخ باروری است که منتشر می‌کنید.
  2. نرخ توکن‌های ناشناخته، که با طرح پشتیبان بایتی باید حتماً صفر باشد.
  3. نسبت فشرده‌سازی در مقایسه با یک انکودر مرجع روی همان متن نگه‌داشته‌شده.
  4. چرخه‌ی رفت‌وبرگشت، یعنی انکود و سپس رمزگشایی (decode) روی تمام داده‌ها، از جمله ایموجی‌ها و رشته‌های متنیِ توکن‌های ویژه. اگر توکن‌ساز فاقد نرمال‌ساز است، خروجی باید در سطح بایت کاملاً یکسان باشد؛ در صورت استفاده از نرمال‌سازی مانند NFKC، نتیجه را با متن نرمال‌شده بسنجید.
  5. فریز کردن هش فایل توکن‌ساز و شناسه‌های توکن مرجع در CI، تا مطمئن شوید بین آموزش و سرویس‌دهی نهایی هیچ دریفت (drift) رخ نمی‌دهد.

واژگان تک‌زبانه‌ی زیر 16k را ناکافی و ناقص تلقی کنید و هرگز واژگانی را بدون اعتبارسنجی هش تحویل ندهید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ترکیب داده‌های پیکره از انتخاب الگوریتم مهم‌تر است؟ پاسخ مورد انتظار: mergeها یا قطعات هرس‌شده مستقیماً از بسامدها در متن آموزش تبعیت می‌کنند؛ بنابراین اگر خط نگارشی خاصی در نمونه‌های آموزشی کمیاب باشد، صرف‌نظر از نوع الگوریتم، قطعات بسیار کمی به آن اختصاص می‌یابد.
  • سطح 4: مدیریت فاصله‌های خالی چه تأثیری روی کد دارد؟ پاسخ مورد انتظار: تورفتگی‌ها در کد دنباله‌ای از فاصله‌ها یا تب‌ها هستند؛ پیش‌توکن‌سازی که دنباله‌ی فاصله‌ها را به شکل تکه‌های مجزا نگه دارد، اجازه می‌دهد این فضاها به جای چسبیدن به کلمه‌ی بعدی، به توکن‌هایی پایدار تبدیل شوند.
  • سطح 4: تیم می‌خواهد پس از شش ماه آموزش مدل، واژگان را تغییر دهد. به آن‌ها چه می‌گویید؟ پاسخ مورد انتظار: تمام امبدینگ‌ها و وزن‌ها بر اساس شناسه‌های فعلی آموزش دیده‌اند؛ تغییر واژگان یعنی آموزش دوباره از صفر، به همین دلیل تصمیم‌گیری درباره‌ی توکن‌ساز باید پیش از اولین گام نهایی شود.
  • سطح 4: مشخصات توکن‌ساز را چگونه همراه با مدل گزارش می‌کنید؟ پاسخ مورد انتظار: جدول نرخ باروری به ازای هر زبان، اندازه و پوشش کاراکتری واژگان، فهرست توکن‌های ویژه و هش فایل نهایی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اندازه‌ی 32k را انتخاب کنید چون مدل‌های قبلی از آن استفاده می‌کردند.» این اندازه پاسخگوی مدل‌های تک‌زبانه‌ی زیر 1B بود؛ یک مدل چندزبانه‌ی 7B برای کدنویسی، تاوان این محدودیت را در تک‌تک زبان‌ها پس می‌دهد.
  • «پوشش کاراکتری را روی 1.0 بگذارید تا خیالمان راحت باشد.» پوشش کامل، ظرفیت واژگان را صرف کاراکترهایی می‌کند که فقط یک بار دیده شده‌اند؛ عددی نزدیک 0.9995 همراه با طرح پشتیبان بایتی، خط‌های کمیاب را بدون هدر دادن سطرها حفظ می‌کند.
  • «فعلاً روی انگلیسی آموزش می‌دهیم و زبان‌های دیگر را بعداً اضافه می‌کنیم.» واژگان را پس از آموزش نمی‌توان بدون آموزش مجدد تغییر داد؛ تمام زبان‌ها باید از ابتدا در پیکره‌ی توکن‌ساز حضور داشته باشند.

کجای دوره آموزش داده می‌شود

در درس توکن‌سازی زیرکلمه جدول انتخاب، قاعده‌ی سرانگشتی اندازه، قانون پوشش کاراکتری و برنامه‌ی اعتبارسنجی آمده است؛ درس توکن‌سازها محاسبات امبدینگ و نرخ باروری را تشریح می‌کند و درس ساخت توکن‌ساز به پیش‌توکن‌سازی، شمارش بایت‌ها و توکن‌های ویژه می‌پردازد.