سؤال مصاحبه

یک گام از آموزش کدگذاری جفت‌بایت و دست‌سازه‌ی نهایی آن

One step of byte-pair training and what it leaves behind

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک گام از آموزش کدگذاری جفت‌بایت (Byte-Pair Encoding یا BPE) را روی یک پیکره متنی کوچک توضیح دهید و بگویید دست‌سازه‌ی نهایی آموزش‌دیده دقیقاً چیست.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کار را با شکستن هر کلمه به نمادهای پایه (بایت‌ها یا کاراکترها) شروع کنید. تمام جفت‌های مجاور را در کل پیکره متنی، با در نظر گرفتن وزن تعداد تکرار هر کلمه، بشمارید. پرتکرارترین جفت را در قالب یک نماد جدید با اولین شناسه (ID) آزاد merge کنید، تمام دفعات وقوع آن را بازنویسی کنید و این کار را تا رسیدن واژگان به اندازه هدف تکرار کنید. دست‌سازه‌ی نهایی، فهرست مرتب‌شده‌ی همین mergeها است؛ واژگان هم بر پایه‌ی همین فهرست شکل می‌گیرد و در فاز انکود کردن متن‌های جدید، دقیقاً همین فهرست با همین ترتیب اِعمال می‌شود.

پاسخ کامل

بررسی مرحله‌به‌مرحله‌ی یک گام

پیکره متنی: 5 بار کلمه‌ی «lower»، 2 بار «lowest» و 6 بار «newest».

l o w e r      (x5)
l o w e s t    (x2)
n e w e s t    (x6)

pair counts: (w,e): 13   (e,s): 8   (s,t): 8   (l,o): 7   (o,w): 7   (n,e): 6   (e,r): 5
merge (w,e) -> we

l o we r       (x5)
l o we s t     (x2)
n e we s t     (x6)

شمارش مجدد انجام می‌شود؛ در گام بعدی، جفت‌های (we,s) و (s,t) با 8 بار تکرار برابر هستند. پیاده‌سازی این درس برای شکستن تساوی‌ها، جفت‌ها را بر اساس خودِ جفت مرتب‌سازی (sort) می‌کند تا دو بار اجرا روی همان پیکره متنی، دقیقاً همان جدول را بسازد. بعد از گام‌های کافی، کلمه‌ی «west» به یک نماد واحد تبدیل می‌شود.

سه واقعیتی که در این حلقه پیاده می‌شود

  1. وزن‌دهی با بسامد کلمات باعث می‌شود جفت‌های متعلق به کلمات پرتکرار زودتر برنده شوند.
  2. تقسیم اولیه بر اساس فاصله‌ها و علائم نگارشی، mergeها را درون مرز کلمات نگه می‌دارد. استفاده از نشانگر انتهای کلمه نیز باعث می‌شود کلمه‌ی کامل «low» از «low» در ابتدای «lower» متمایز بماند.
  3. فهرست mergeها مرتب است. در زمان انکود کردن، این عملیات با همان ترتیب زمان آموزش اِعمال می‌شود؛ پس ترتیب، بخشی از دست‌سازه است.

سطح بایت

وقتی بایت‌ها نمادهای پایه باشند، 256 شناسه‌ی اول همان مقادیر بایت‌ها هستند و merge شماره‌ی k شناسه‌ی 256 به علاوه‌ی k را می‌گیرد. هزینه‌ی پردازشی هر گام نسبت به پیکره متنی (به‌عنوان فهرستی از توالی نمادها) خطی است؛ از طرفی با اِعمال mergeها طول توالی‌ها کمتر می‌شود، بنابراین اجرای الگوریتم برای تبدیل یک میلیون کلمه به 10000 شناسه تنها چند ثانیه زمان می‌برد.

خروجی نهایی چیست

جدول ادغام و جدول توکن‌های ویژه (special-token table). واژگانِ رشته‌های بایتی را می‌توان بر اساس همین‌ها بازسازی کرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا به‌جای یک‌بار شمردن هر کلمه‌ی یکتا، جفت‌ها را بر اساس بسامد کلمه وزن‌دهی می‌کنیم؟ پاسخ مورد انتظار: mergeها باید برای متنی بهینه‌سازی شوند که مدل خواهد دید، و کلمات رایج دفعات زیادی تکرار می‌شوند.
  • سطح 2: چرا تساوی در تعداد جفت‌ها باید به صورت قطعی شکسته شود؟ پاسخ مورد انتظار: دو بار اجرای آموزش روی یک پیکره متنی باید دقیقاً یک جدول یکسان بسازد؛ در غیر این صورت، یک متن واحد شناسه‌های متفاوتی می‌گیرد.
  • سطح 2: اگر اندازه‌ی واژگان هدف از 300 به 600 برسد، چه اتفاقی برای طول توکن‌های یک جمله بعد از انکود می‌افتد؟ پاسخ مورد انتظار: طول آن کم می‌شود، چون mergeهای بیشتر قطعات طولانی‌تری را پوشش می‌دهند؛ این منحنی همان منحنی فشرده‌سازی است.
  • سطح 3: چرا باید قبل از شمارش جفت‌ها، پیکره متنی را به کلمات تقسیم کنیم؟ پاسخ مورد انتظار: بدون این کار، mergeها از مرز کلمات رد می‌شوند و واژگان با عبارت‌های کاملی پر می‌شود که قابلیت تعمیم ندارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «BPE جفتی را انتخاب می‌کند که معنادارترین بخش را بسازد.» این الگوریتم پرتکرارترین جفت را برمی‌گزیند؛ معنا فقط یک اثر جانبی است و گونه‌ی مبتنی بر درست‌نمایی، الگوریتم متفاوتی است.
  • «دست‌سازه‌ی نهایی فقط همان واژگان است و می‌توان فهرست mergeها را دور انداخت.» انکود کردن به ترتیبِ mergeها نیاز دارد؛ واژگان به‌تنهایی مشخص نمی‌کند که متن جدید را چطور تقسیم کنیم.
  • «همه‌ی mergeها در همان ابتدا و از روی شمارش اولیه‌ی جفت‌ها مشخص می‌شوند.» هر merge شمارش‌ها را تغییر می‌دهد، بنابراین حلقه بعد از هر گام شمارش را دوباره انجام می‌دهد.

کجای دوره آموزش داده می‌شود

در درس توکن‌سازها این مثال بررسی می‌شود، در پروژه‌ی پایانی BPE حلقه‌ی کار با شکستن قطعی تساوی‌ها ساخته می‌شود، و در درس زیرکلمه‌ها این سه واقعیت نام برده شده‌اند.