سؤال مصاحبه

نوت‌بوک کار می‌کند اما سرویس بی‌وقفه حرف می‌زند

The notebook works and the service never stops talking

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک مدل چت فاین‌تیون‌شده (fine-tuned) در نوت‌بوک آموزش به‌خوبی پاسخ می‌دهد. اما همین مدل پس از استقرار در قالب یک سرویس و با همان وزن‌های یکسان، متن‌هایی کش‌دار و بی‌سرته برمی‌گرداند که تا رسیدن به سقف محدودیت توکن ادامه می‌یابند. اول از همه سراغ چه چیزی می‌روید و انتظار دیدن چه مشکلی را دارید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سراغ دنباله‌ی مسطح توکن‌ها (flat token sequence) بروید که مدل واقعاً دریافت می‌کند، نه لیست پیام‌ها. یک مدل چت بر اساس چیدمان کاملاً دقیقی از نشانگرهای نقش (role markers)، توکن‌های ویژه (special tokens) و خطوط جدید آموزش دیده است؛ یک خط جدید جاافتاده، جابه‌جا شدن یک نشانگر یا حتی یک فاصله‌ی اضافی، ورودی را از توزیع داده‌های آموزش خارج می‌کند و پیش‌بینی توکن پایان نوبت گفت‌وگو (end-of-turn token) متوقف می‌شود. شناسه‌ی توکن‌های (token IDs) یک درخواست یکسان را در هر دو مسیر چاپ و Diff آن‌ها را بررسی کنید؛ همچنین مطمئن شوید توکن‌های ویژه واقعاً به‌شکل شناسه‌های رزروشده‌شان دریافت شده‌اند، نه به‌صورت بایت‌های متنی تشکیل‌دهنده‌شان.

پاسخ کامل

مدل هرگز JSON را نمی‌بیند

سرویس لیستی از جفت‌های نقش و محتوا را نگه می‌دارد. اما مدل فقط یک دنباله‌ی مسطح را می‌بیند که الگوی چت (chat template) آن را می‌سازد؛ این الگو نشانگرهایی مثل توکن شروع متن، یک هدر برای هر نقش و یک توکن پایان نوبت گفت‌وگو بعد از هر پیام را با خطوط جدیدِ مشخصی میان آن‌ها درج می‌کند. هر خانواده از مدل‌ها این ساختار را به‌شکلی متفاوت می‌چیند. الگوی چت دقیقاً مثل دایره‌ی واژگان (vocabulary)، بخشی از خود مدل است.

سه دلیلی که کار را خراب می‌کنند

  1. الگوی چت متفاوت. سرویس از یک چیدمان عمومی یا نسخه‌ای قدیمی‌تر استفاده کرده است. حالا هر پیام در قالبی می‌نشیند که مدل هرگز ندیده است؛ نشانگر پایان نوبت گفت‌وگویی هم که یاد گرفته غایب است یا جای درستی ندارد، بنابراین هرگز توکن توقف (stop token) را پیش‌بینی نمی‌کند.
  2. تجزیه‌ی توکن‌های ویژه به حروف سازنده. توکن‌های ویژه باید پیش از حلقه‌ی merge دقیقاً مطابقت داده و به شناسه‌های ثابت نگاشت شوند. اگر سرویس، پرامپت را به‌صورت متن خام بسازد و آن را در حالتی انکود کند که فلگ مجاز بودن توکن‌ها خاموش است، رشته‌ی نشانگر به بایت‌ها و تکه‌های معمولی تبدیل می‌شود. در نتیجه مدل متنی را می‌بیند که فقط شبیه به نشانگر است، اما واقعاً نشانگر نیست.
  3. عدم تطابق توکن توقف. سرویس منتظر شناسه‌ی عمومیِ پایان دنباله (end-of-sequence) می‌ماند، در حالی که مدل شناسه‌ی اختصاصیِ پایان نوبت گفت‌وگوی خودش را برمی‌گرداند. بنابراین، تولید متن فراتر از نقطه‌ی پایان واقعی ادامه پیدا می‌کند.

بررسی تعیین‌کننده

ids_notebook = tokenizer(chat_template(messages))
ids_service  = ids the service sent to the engine
diff the two lists; the first difference is the bug

سپس هر شناسه را به رشته‌ی متنی‌اش رمزگشایی کنید و دنبال نشانگری بگردید که به‌جای یک شناسه‌ی رزروشده، به چند تکه رمزگشایی شده باشد. اگر هر دو لیست یکسان بودند، ورودی مشکلی ندارد و باید سراغ توکن توقف بروید: شناسه‌های توقف در پیکربندی سرویس را با شناسه‌ی پایان نوبت گفت‌وگویی که الگو بعد از هر پیام می‌گذارد، مقایسه کنید.

راه‌حل

از تابع الگوی اختصاصی خود مدل استفاده کنید، توکن‌های ویژه را از مسیر شناسه‌های رزروشده بفرستید و توکن توقف را روی شناسه‌ای تنظیم کنید که الگو نوبت گفت‌وگو را با آن تمام می‌کند. فایل توکن‌ساز (tokenizer) و الگوی چت را همیشه همراه با وزن‌ها فریز و ذخیره کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: توکن پایان نوبت گفت‌وگو هنگام استنتاج (inference) چه نقشی دارد؟ پاسخ مورد انتظار: این توکن نشانه‌ی مدل برای اعلام پایان پاسخ است؛ سرور باید با دیدن این شناسه کار را متوقف کند، وگرنه تولید متن تا رسیدن به سقف محدودیت ادامه می‌یابد.
  • سطح 3: اگر کاربری رشته‌ی متنیِ دقیقِ یک توکن ویژه را در کادر چت تایپ کند، چه اتفاقی باید بیفتد؟ پاسخ مورد انتظار: با خاموش بودن فلگ مجاز بودن توکن‌های ویژه، این رشته به بایت‌های معمولی تبدیل می‌شود که پیش‌فرض امن برای متن‌های کاربر است؛ اگر روشن باشد، کاربر می‌تواند یک نشانگر کنترلی را به سیستم تزریق کند.
  • سطح 3: چطور پیاده‌سازی یک الگو را تست می‌کنید؟ پاسخ مورد انتظار: دنباله‌ی توکن‌ها را برای یک لیست ثابت از پیام‌ها بسازید و آن را شناسه به شناسه با خروجیِ کد الگوی رسمی خود مدل مقایسه کنید.
  • سطح 4: اگر الگو درست باشد و شناسه‌ها باز هم بین نوت‌بوک و سرویس تفاوت داشته باشند، مشکل از کجاست؟ پاسخ مورد انتظار: تفاوت در نسخه‌ی فایل توکن‌ساز، تفاوت در مرحله‌ی نرمال‌سازی متن، یا تنظیمات متفاوت برای اضافه کردن توکن‌های ویژه در ابتدای ورودی؛ هش فایل توکن‌ساز را بررسی کرده و فلگ‌ها را با هم مقایسه کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دمای نمونه‌برداری (sampling temperature) در سرویس خیلی بالاست.» تغییر دما تعیین می‌کند کدام توکن انتخاب شود، نه این که آیا توکن توقف اصلاً پیش‌بینی می‌شود یا نه؛ تفاوت شناسه‌ها قبل از مرحله‌ی نمونه‌برداری رخ داده است.
  • «مدل در فاین‌تیون دچار بیش‌برازش (overfit) شده است.» همین وزن‌ها در نوت‌بوک درست کار می‌کنند؛ تفاوت از چیدمان ورودی آب می‌خورد.
  • «خروجی را در سمت کلاینت برش دهید.» این کار فقط صورت‌مسئله را پاک می‌کند و مدل همچنان توان محاسباتی‌اش را پای متنی هدر می‌دهد که اصلاً نباید تولید می‌کرد.

کجای دوره آموزش داده می‌شود

درس ساخت توکن‌ساز الگوها و مسیر توکن‌های ویژه را نشان می‌دهد، پروژه‌ی پایانی BPE فلگ مجاز بودن توکن‌ها را توضیح می‌دهد، و درس زیرکلمه خطاهای رایج مربوط به دریفت و فاصله‌ها را فهرست کرده است.