سؤال مصاحبه

وزن‌ها تغییر نکردند اما امتیاز افت کرد

The weights did not change and the score fell

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

پس از یک ارتقای وابستگی روتین (routine dependency upgrade)، امتیاز ارزیابی یک مدل مستقرشده به‌شدت افت کرد؛ بدون این‌که وزن‌های مدل تغییری کرده باشند. یک برنامه‌ی عیب‌یابی ارائه دهید که از توکن‌ساز (tokenizer) شروع شود، و همچنین کنترلی معرفی کنید که جلوی تکرار دوباره‌ی این اتفاق را بگیرد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدلی که با یک واژگان (vocabulary) آموزش دیده و با واژگان دیگری سرویس‌دهی می‌شود، برای متنی یکسان شناسه‌های متفاوتی دریافت می‌کند و خروجی نامربوط تحویل می‌دهد. بنابراین ابتدا فایل توکن‌ساز را در هر دو محیط هش (hash) بگیرید و مقایسه کنید. اگر هش‌ها یکی بودند، تنظیماتی را بررسی کنید که شناسه‌ها را بدون تغییر واژگان عوض می‌کنند: این‌که آیا توکن‌های خاص (special tokens) اضافه می‌شوند یا نه، آیا فاصله‌ی پیشوند (prefix space) افزوده می‌شود یا خیر، و مرحله‌ی نرمال‌سازی (normalization)؛ چرا که یک فاصله‌ی ابتدایی یا خط‌پیوندی (ligature) که نرمال‌سازی متفاوتی دارد، کل توکن‌ها را جابه‌جا می‌کند. سپس هش توکن‌ساز را در فرآیند CI فریز (freeze) کنید و شناسه‌های طلایی توکن (golden token ids) را برای یک پیکره متنی (corpus) ثابت نگه دارید تا هرگونه تغییری پیش از انتشار، باعث رد شدن تست شود.

پاسخ کامل

گام اول: فایل

جدول ادغام (merge table) و واژگان، خودِ توکن‌ساز هستند. ارتقای یک کتابخانه می‌تواند فایل متفاوتی را دانلود کند، یا نام مدل را به نسخه‌ی بازنگری‌شده‌ی جدیدتری ارجاع دهد. هش فایل توکن‌ساز در محیط ارزیابی را با هشی که مدل با آن آموزش دیده مقایسه کنید.

گام دوم: تنظیمات جانبی فایل

تنظیمات چه چیزی تغییر می‌کند نشانه
افزودن توکن‌های خاص یک شناسه‌ی ابتدای متن (begin-of-text) در ابتدا ظاهر یا حذف می‌شود همه‌ی جایگاه‌ها یک واحد شیفت پیدا می‌کنند
افزودن فاصله‌ی پیشوند کلمه‌ی اول، شناسه‌ی ابتدای کلمه یا شناسه‌ی درون کلمه می‌گیرد اولین توکن هر پرامپت متفاوت می‌شود
نرمال‌سازی یک خط‌پیوند مانند ترکیب دو حرفی «fi» به دو نویسه تبدیل می‌شود، یا یک نویسه‌ی تمام‌عرض (fullwidth) به ASCII تبدیل می‌گردد کلمه‌ای یکسان در دو محیط به تکه‌های متفاوتی شکسته می‌شود
موتور پیش‌توکن‌ساز (pre-tokenizer) الگوی آگاه از یونیکد (Unicode-aware) به دسته‌های ASCII برمی‌گردد (fallback) متن‌های غیرلاتین به‌شکل متفاوتی خرد می‌شوند

هر یک از این‌ها مقادیر پیش‌فرضی هستند که نسخه‌ی جدید یک کتابخانه می‌تواند آن‌ها را تغییر دهد. هیچ‌کدام از آن‌ها به فایل واژگان دست نمی‌زنند؛ بنابراین صرفاً با بررسی هش نمی‌توان متوجه آن‌ها شد.

گام سوم: اثبات ماجرا

یک نمونه‌ی ثابت از پرامپت‌ها را از بخش ارزیابی بردارید. آن‌ها را در هر دو محیط کدگذاری (encode) کنید و تفاوت‌های بازنگری (diff) لیست‌های شناسه را به‌دست آورید. اولین جایگاهی که متفاوت است به شما می‌گوید کدام تنظیم تغییر کرده است. شناسه‌های متفاوت را رمزگشایی (decode) کنید تا تکه‌ها را ببینید.

کنترل‌ها

  1. فایل توکن‌ساز را از طریق هش در فرآیند استقرار پین (pin) کنید و کاری کنید که با تغییر آن، ساخت بیلد شکست بخورد.
  2. شناسه‌های طلایی توکن را برای یک پیکره متنی ثابت نگهداری کنید؛ این پیکره متنی باید شامل انگلیسی، خط‌های غیرلاتین، کد، ایموجی و پرامپتی با فاصله‌ی ابتدایی باشد. تست مربوطه باید این پیکره متنی را کدگذاری و با شناسه‌های ذخیره‌شده مقایسه کند.
  3. یک فرآیند بازگشت‌پذیری (round-trip)، یعنی کدگذاری و سپس رمزگشایی را روی همان پیکره متنی بررسی (assert) کنید. نتیجه را با متنی که نرمال‌سازِ پیکربندی‌شده تولید می‌کند بسنجید و برای متنی که نرمال‌ساز دست‌نخورده باقی می‌گذارد، تطابق بایت‌به‌بایت و دقیق را الزامی کنید.
  4. تنظیمات توکن‌ساز را در کنار وزن‌ها ذخیره کنید تا کانفیگ سرویس‌دهی از کانفیگ زمان آموزش دچار دریفت نشود.

برنامه‌ی اعتبارسنجی ارائه‌شده در درس

میانگین توکن به ازای هر کلمه روی یک مجموعه‌ی نگه‌داشته‌شده (held-out set)، نرخ کلمات ناشناخته (unknown rate)، نسبت فشرده‌سازی (compression ratio) و تطابق کامل بازگشت‌پذیری؛ پایش این 4 عدد در طول زمان، دریفت را پیش از مشخص شدن در ارزیابی نهایی آشکار می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: یک فاصله‌ی پیشوند چطور شناسه‌ها را تغییر می‌دهد؟ پاسخ مورد انتظار: فاصله، بخشی از توکنِ ابتدای کلمه است؛ بنابراین با وجود آن، کلمه‌ی اول یک شناسه می‌گیرد و بدون آن شناسه‌ای دیگر، و این تغییر شناسه می‌تواند در طول زنجیره‌ی ادغام‌ها (merges) نیز ادامه پیدا کند.
  • سطح 3: نرمال‌سازی سازگاری (compatibility normalization) چه می‌کند و چه زمانی آسیب‌رسان است؟ پاسخ مورد انتظار: نویسه‌های سازگاری را به فرم‌های ساده‌ی آن‌ها نگاشت می‌کند؛ مثل تبدیل خط‌پیوند به دو حرف یا تبدیل نویسه‌ی تمام‌عرض به ASCII. این کار همراه با اتلاف اطلاعات (lossy) است؛ بنابراین معنی کد یا متنی که به فرم دقیق نویسه‌ها وابسته است تغییر می‌کند.
  • سطح 4: هش‌ها مطابقت دارند اما شناسه‌ها فقط روی متن‌های غیرلاتین فرق می‌کنند. علت تغییر چیست؟ پاسخ مورد انتظار: موتور پیش‌توکن‌ساز؛ محیطی که ماژول آگاه از یونیکد را نداشته به الگوی ASCII برگشته است.
  • سطح 4: سازوکار گیت CI را در دو جمله طراحی کنید. پاسخ مورد انتظار: تستی که یک پیکره متنی چندزبانه و ثابت را کدگذاری کرده و آن را با شناسه‌های طلایی و هش ذخیره‌شده‌ی توکن‌ساز مقایسه می‌کند؛ هرگونه تفاوتی بیلد را متوقف کرده و اولین جایگاه دارای اختلاف را چاپ می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وزن‌ها تغییر نکرده‌اند، بنابراین مدل همان است.» مدل تشکیل شده از وزن‌ها به همراه نگاشت متن به شناسه‌ها؛ وقتی نگاشت را تغییر دهید، مدل ورودی‌های متفاوتی را می‌بیند.
  • «آموزش مجدد مدل روی توکن‌ساز جدید.» این یک راه‌حل چند هفته‌ای برای یک باگ پیکربندی است؛ توکن‌ساز و تنظیمات زمان آموزش را برگردانید.
  • «کوچک کردن همه‌ی حروف (lowercase) تا نرمال‌سازی بی‌اهمیت شود.» این کار دوباره شناسه‌ها را تغییر می‌دهد و اطلاعاتی را که مدل با آن‌ها آموزش دیده دور می‌ریزد.

کجای دوره آموزش داده می‌شود

درس توکن‌سازی زیرکلمه دام‌های مربوط به دریفت و فاصله‌ها و همچنین برنامه‌ی اعتبارسنجی را فهرست کرده است، و درس ساخت توکن‌ساز به مباحث نرمال‌سازی و موتورهای regex می‌پردازد.