مدل بینایی-زبانی (VLM) مستقر در محیط عملیاتی (Production) شما به پرسشهای مربوط به عکس محصولات پاسخ میدهد. تیکتهای پشتیبانی گزارش میدهند که مدل اشیای ساختگی سرهم میکند و اعداد را اشتباه میخواند، در حالی که نمرهی بنچمارک آفلاین کاملاً خوب است. سیستم مانیتورینگ محیط عملیاتی و برنامهی واکنش را برای این مشکل طراحی کنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
به توهم (Hallucination) به چشم یک متریک در محیط عملیاتی نگاه کنید، نه یک ویژگی ذاتی مدل. به هر پاسخ با یک نرخ خطای بینوجهی (Cross-modal error rate) نمره دهید: تصویر و متن تولیدشده را با یک ارزیاب مقابلهای (Contrastive checker) مستقل امبد کنید، سپس خروجیهایی را که در آنها اطمینان متن بالاست اما شباهت تصویر-متن پایین است، نشانهگذاری کنید. این نرخ را به تفکیک اندپوینت (Endpoint)، نوع پرامپت (Prompt) و مشتری دنبال کنید، برای افزایش آن هشدار بگذارید و پاسخهای نشانهگذاریشده را به جای ارسال به کاربر، به صف بازبینی انسانی بفرستید. تیمی که این متریک را معرفی کرد، توانست بدون تغییر مدل، نرخ توهم را حدود 35 درصد کاهش دهد.
پاسخ کامل
چرا بنچمارک متوجه این مشکل نمیشود
حدود 12 درصد از جفتهای تصویر و متن در دادههای آموزشی جمعآوریشده از وب، چیزهایی را توصیف میکنند که اصلاً بهطور کامل در تصویر وجود ندارند. مدلی که با این دادهها آموزش دیده، یاد میگیرد جملات باورپذیری بگوید که تصویر پشتیبان آنها نیست؛ بنچمارکهایی هم که از همین دست دادهها ساخته شدهاند به همین باورپذیری پاداش میدهند. اما در محیط عملیاتی، ورودیها عکسها، پرسشها و اعداد واقعی شما هستند، و این نوع شکست به مشکل اصلی تبدیل میشود.
متریک
def cross_modal_error_rate(image_emb, text_emb, text_confidence, sim_threshold=0.25, conf_threshold=0.8):
image_emb = F.normalize(image_emb, dim=-1)
text_emb = F.normalize(text_emb, dim=-1)
sim = (image_emb * text_emb).sum(dim=-1)
high_conf_low_sim = (text_confidence > conf_threshold) & (sim < sim_threshold)
return high_conf_low_sim.float().mean().item()
اطمینان متن (Text confidence) همان میانگین احتمال هر توکن در پاسخ است. ارزیاب یک مدل مقابلهای تصویر-متن است که مستقل از مدل تولیدکننده عمل میکند. این دو آستانه (Threshold) از دادههای خودتان به دست میآیند: آنها را روی نمونهای برچسبخورده از پاسخهای دارای ارجاعدهی مکانی (Grounded) و متوهمانه کالیبره کنید.
داشبورد
- نرخ خطا به تفکیک اندپوینت، نوع پرامپت و مشتری، در گذر زمان.
- تفکیک نرخ خطا بر اساس منبع و رزولوشن تصویر؛ زیرا دوربین جدید یا مسیر آپلود تازه میتواند آن را تغییر دهد.
- نمونهای از پاسخهای نشانهگذاریشده برای بازخوانی هفتگی، به همراه برچسبی که ارزیاب انسانی داده است.
- هشدار در صورت افزایش نرخ خطا بالاتر از پنجرهی خط مبنا (Baseline).
برنامهی واکنش
- مسیریابی (Routing): پاسخ نشانهگذاریشده به صف بازبینی میرود، یا پاسخی محتاطانه برمیگرداند که ناحیهی تصویر را نشان میدهد، نه یک عدد غلط با قطعیت بالا. پاسخی هم که اعداد آن در بررسی تشخیص متن (Text recognition) رد شوند به صف بازبینی فرستاده میشود، حتی اگر نرخ خطای کل تصویر آن را نشانهگذاری نکرده باشد.
- بازخوانی: نمونههای هفتگی به شما میگویند کدام نوع پرامپتها ناموفق هستند: اعداد، شمارشها، یا متنهای ریز.
- اصلاح در سطح داده: نمونههای ارجاعدهی مکانی شده را برای انواع پرامپتهای ناموفق اضافه کنید، و برای متنها و اعداد ریز از کاشیکاری (Tiling) یا رزولوشن بالاتر کمک بگیرید.
- اندازهگیری مجدد: قبل و بعد از هر تغییر، وضعیت را با همان متریک دوباره بسنجید.
محدودیتهای این متریک
ارزیاب مقابلهای شباهت کل تصویر را میسنجد، بنابراین ممکن است یک رقم اشتباه را در میان توصیفی که در بقیهی بخشها همخوان است متوجه نشود. این ارزیاب را در کنار بررسیهای خاص هر وظیفه (Task) به کار ببرید: اعداد داخل پاسخ را استخراج و با یک مرحلهی تشخیص متن مقایسه کنید، یا از مدل بخواهید محدودهای را که از روی آن خوانده مشخص کند و مطمئن شوید آن ناحیه خالی نیست.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا باید از یک ارزیاب مستقل استفاده کنیم و به اطمینان خود مدل بسنده نکنیم؟ پاسخ مورد انتظار: مدل هنگام توهم هم با قطعیت پاسخ میدهد و مشکل دقیقاً همین است؛ ارزیاب نظر دومی ارائه میدهد که نقاط کور مدل تولیدکننده را ندارد.
- سطح 3: این دو آستانه را چطور تعیین میکنید؟ پاسخ مورد انتظار: چند صد پاسخ را بر اساس داشتن یا نداشتن ارجاعدهی مکانی برچسب بزنید، مقادیر مختلف آستانهها را بیازمایید، و جفتی را انتخاب کنید که بیشترین توهمات را با بار کاری بازبینی در حد توان تیم شکار کند.
- سطح 4: نرخ خطا فقط برای یکی از مشتریان بالا رفته است. چه چیزی را بررسی میکنید؟ پاسخ مورد انتظار: منبع تصویر آنها: رزولوشن، نورپردازی، یا خط محصول جدیدی با متنهایی که مدل اشتباه میخواند؛ تفکیک دادهها بر اساس مشتری دقیقاً به همین دلیل وجود دارد.
- سطح 4: چگونه بین تغییر مدل و تغییر مسیریابی تصمیم میگیرید؟ پاسخ مورد انتظار: مسیریابی ارزان و آنی است و همین امروز از کاربران محافظت میکند؛ تغییر مدل نیازمند دادههای دارای ارجاعدهی مکانی و اندازهگیری مجدد است. هر دو کار را به همین ترتیب انجام دهید و بگذارید متریک قضاوت کند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «نمرهی بنچمارک را بالا ببرید تا توهمات خودبهخود از بین بروند.» بنچمارک به متنهای باورپذیر پاداش میدهد؛ در حالی که شکست در محیط عملیاتی، متن بااطمینانی است که تصویر پشتیبان آن نیست، و بنچمارک این موضوع را اندازه نمیگیرد.
- «یک پرامپت سیستمی اضافه کنید که بگوید توهم نزن.» مدل متوجه متوهمبودن خود نمیشود؛ پرامپت ارجاعدهی مکانی ایجاد نمیکند، و فقط اندازهگیری و یک مسیر بازبینی آسیب را کاهش میدهد.
- «هر پاسخی را که شباهت تصویر-متن پایینی دارد مسدود کنید.» شباهت پایین با اطمینان پایین اغلب پاسخی درست دربارهی تصویری دشوار است؛ سیگنال اصلی، اطمینان بالا همزمان با شباهت پایین است.
کجای دوره آموزش داده میشود
درس مدلهای بینایی-زبانی نرخ خطای بینوجهی را تعریف میکند، کد آن را ارائه میدهد و نتایج محیط عملیاتی را گزارش میکند.