سؤال مصاحبه

پرامپت یکسان در زبان کره‌ای توکن بیشتری مصرف می‌کند

The same prompt costs more tokens in Korean

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

مشتری شما از کره‌جنوبی گزارش می‌دهد که یک پرامپت یکسان در زبان کره‌ای بخش بسیار بیشتری از پنجره‌ی بافتار (Context Window) را نسبت به نسخه‌ی انگلیسی پر می‌کند و هزینه‌ی صورت‌حساب هم بالاتر می‌رود. چرا چنین اتفاقی می‌افتد و سازنده‌ی مدل چه کاری برای حل آن انجام می‌دهد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

واژگان مدل روی متونی آموزش دیده که بیشترشان انگلیسی بوده‌اند؛ بنابراین mergeهای آن خط انگلیسی را پوشش می‌دهند و سایر خطوط به قطعات کوتاه یا بایت‌های خام شکسته می‌شوند. در یک واژگان قدیمی‌تر، متن کره‌ای به‌طور میانگین برای هر کلمه 2 تا 3 توکن مصرف می‌کند و برای رساندن معنایی یکسان، هزینه‌ی متون غیرلاتین می‌تواند 5 تا 10 برابر بیشتر از انگلیسی تمام شود. از آن‌جا که هر نویسه‌ی چینی در UTF-8 معادل 3 بایت است، بدون ادغام، هر نویسه به چندین توکن تبدیل می‌شود. راه‌حل سازنده، واژگان بزرگ‌تری است که روی داده‌های چندزبانه آموزش دیده باشد؛ دقیقاً به همین دلیل اندازه‌ی واژگان یک خانواده‌ی مدلی از 32K به 128K افزایش یافت.

پاسخ کامل

توکن‌ها کجا خرج می‌شوند؟

یک توکن‌ساز در سطح بایت (Byte-level Tokenizer) هرگز شکست نمی‌خورد، اما فقط داده‌هایی را فشرده می‌کند که برایشان merge داشته باشد. هر نویسه‌ی چینی 3 بایت، نویسه‌های ژاپنی 3 تا 4 بایت، و یک ایموجی 4 بایت است و می‌تواند تا 5 توکن مصرف کند. اگر پیکره متنی (Corpus) آموزشی سهم بسیار کمی از یک خط زبانی داشته باشد، جدول ادغام (Merge Table) قطعات کمتری برای آن خواهد داشت و متن تا سطح یک توکن به ازای هر بایت باقی می‌ماند.

مشتری چه چیزی را حس می‌کند؟

  • پنجره‌ی بافتار در واقع یک سهمیه‌ی توکن (Token Budget) است؛ بنابراین یک سند یکسان کمتر در آن جا می‌شود.
  • قیمت‌گذاری بر اساس تعداد توکن است؛ پس ارسال همان درخواست هزینه‌ی بیشتری دارد.
  • تاخیر (Latency) به ازای هر توکنِ تولیدشده محاسبه می‌شود؛ در نتیجه پاسخ‌ها در آن خط کندتر خواهند بود.

تعبیر درس این است که کاربر چنین خط زبانی، عملاً پنجره‌ی بافتاری با نصف اندازه‌ی یک کاربر انگلیسی‌زبان در اختیار دارد.

سازنده‌ی مدل چه می‌کند؟

  1. آموزش واژگان روی پیکره‌ای که بازتاب‌دهنده‌ی ترکیب زبانی هدف باشد.
  2. بزرگ‌تر کردن واژگان تا mergeهای بیشتری به خطوط غیرلاتین اختصاص یابد؛ ارتقای یک خانواده‌ی مدلی از 32K به 128K عمدتاً به همین دلیل انجام شد.
  3. آموزش با کتابخانه‌ای که بدون پیش‌توکن‌سازی (Pre-tokenization) مستقیماً روی متن خام کار کند، تا خطوط زبانیِ بدون فاصله به‌خوبی بخش‌بندی شوند.
  4. اندازه‌گیری نرخ باروری (Fertility) به ازای هر زبان و گزارش آن همراه با مدل.

شیوه‌ی اندازه‌گیری آن

10 جمله‌ی هم‌معنی را به زبان‌های انگلیسی، اسپانیایی، چینی، کره‌ای و عربی از یک پیکره متنی موازی بردارید، هرکدام را با واژگان نامزد توکن‌سازی کنید و میانگین توکن به ازای هر نویسه را بسنجید. نسبت‌های به‌دست‌آمده، همان مالیات (Tax) هستند؛ جملاتی را که دقیقاً هم‌معنی نیستند، تنها برای بررسی موردی گزارش کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: نرخ باروری را در یک جمله تعریف کنید. پاسخ موردانتظار: میانگین تعداد توکن‌هایی که توکن‌ساز به ازای هر کلمه تولید می‌کند؛ هرچه بالاتر باشد، یعنی مدل برای همان متن باید کار بیشتری انجام دهد.
  • سطح 2: مالیات را برای یک واژگان جدید چطور اندازه می‌گیرید؟ پاسخ موردانتظار: با توکن‌سازی جملات هم‌معنی در چند زبان و مقایسه‌ی توکن‌ها به ازای هر نویسه یا کلمه.
  • سطح 2: چرا واژگان بزرگ‌تر به خطوط غیرانگلیسی کمک می‌کند؟ پاسخ موردانتظار: mergeهای بیشتری می‌تواند صرف الگوهای بایتی آن‌ها شود، بنابراین هر نویسه یا کلمه به توکن‌های کمتری نیاز پیدا می‌کند.
  • سطح 3: این مالیات چه تاثیری روی مدل هزینه‌ی محصول می‌گذارد؟ پاسخ موردانتظار: قیمت‌گذاری بر اساس توکن و تاخیر بر اساس توکن همگام با تعداد توکن‌ها افزایش می‌یابند؛ بنابراین قابلیت یکسان در زبان‌های آسیب‌دیده گران‌تر تمام می‌شود و کندتر اجرا می‌گردد، و سهمیه‌ی بافتار نیز آب می‌رود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «فهم زبان کره‌ای برای مدل دشوارتر است.» مدل شناسه‌ها (IDها) را می‌بیند؛ هزینه‌ی اضافی از mergeهای توکن‌ساز ناشی می‌شود، نه از خود زبان.
  • «برای زبان کره‌ای از یک توکن‌ساز در سطح نویسه (Character-level) استفاده کنید.» نویسه‌ها طول همه‌ی دنباله‌ها را بیشتر می‌کنند؛ راه‌حل کار، mergeهایی است که خط مربوطه را پوشش دهند.
  • «پنجره‌ی بافتار مدل برای زبان کره‌ای کوچک‌تر است.» ظرفیت پنجره از نظر تعداد توکن یکسان است؛ مسئله این است که توکن‌ساز برای هر کلمه توکن‌های بیشتری خرج می‌کند.

کجای دوره آموزش داده می‌شود

در درس توکن‌سازها به مالیات چندزبانگی اشاره شده، در درس زیرکلمه دام‌ها فهرست شده‌اند و در درس ساخت توکن‌ساز تعداد بایت‌ها برای هر خط زبانی آورده شده است.