سؤال مصاحبه

مجموعه آزمون‌های بافت طولانی برای ارتقای مدل‌ها

A long context battery for every model upgrade

  • سطح ۴: استف
  • طراحی
  • ۱۲ دقیقه

تیم شما قصد دارد فصل آینده مدل جدیدی را به کار بگیرد و به ارزیابی بافت طولانی (long context) نیاز دارد که با هر ارتقای مدل در آینده دوباره اجرا شود. این مجموعه آزمون‌ها را برای محصولی طراحی کنید که به سوالات مربوط به اسناد طولانی پاسخ می‌دهد و گاهی باید واقعیت‌ها را از چند بخش مختلف ترکیب کند: آزمون‌ها، شبکه نمونه‌برداری، معیارها، آستانه‌ها و فرایند پس‌رفت (regression procedure).

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک بستر آزمایشی (harness) داخلی و ثابت با سه بخش بسازید: شبکه‌ای از آزمون‌های سوزن در عمق‌ها و طول‌های مختلف روی اسناد خودتان، وظیفه (task) ردگیری محاسبات (variable tracing) در گام‌های چندگانه (multi-hop) در همان طول‌ها، و برشی از سوالات واقعی اسناد طولانی. در هر طول، پنج عمق مختلف را نمونه‌برداری کنید و نرخ قبولی (pass rate)، زمان تا اولین توکن (time to first token) و هزینه به ازای هر پرسمان را ثبت کنید. دو آستانه را مشخص و منتشر کنید: طول بازیابی موثر با نرخ قبولی 90 درصد و طول استدلال موثر با 70 درصد؛ سپس همین بستر آزمایشی را با هر ارتقای مدل دوباره اجرا کنید.

پاسخ کامل

آزمون‌ها

  1. سوزن درون‌دامنه‌ای. واقعیتی از دامنه کاری خودتان را در میان عبارت پرکننده (filler) برگرفته از اسنادتان، در نسبت عمق و طول کل مشخصی قرار دهید. از سوزن‌هایی استفاده کنید که هیچ واژه مشترکی با عبارت پرکننده ندارند تا بازیابی (retrieval) به جای تطبیق کلمات کلیدی، نیازمند یک گام استدلال باشد.
  2. چند سوزن. سه واقعیت را در عمق‌های مختلف پنهان کنید و پاسخ هر سه را بخواهید. موفقیت در آزمون تک‌سوزن لزوماً این مورد را پیش‌بینی نمی‌کند.
  3. ردگیری محاسبات. زنجیره‌ای از متغیرها را قرار دهید؛ مثلاً مقدار اول، مقدار دوم که بر اساس اولی تعریف می‌شود و مقدار سوم که بر اساس دومی تعریف شده است، و در نهایت مقدار آخر را بخواهید. این وظیفه اولین موردی است که شکست می‌خورد، و دقیقاً همان کاری است که محصول شما هنگام ترکیب واقعیت‌ها انجام می‌دهد.
  4. سوالات واقعی. زیرمجموعه‌ای ثابت از اسناد طولانی همراه با پاسخ‌ها، که به تفکیک دسته‌بندی نمره‌دهی می‌شوند.

شبکه نمونه‌برداری

عمق‌های 0، 0.25، 0.5، 0.75 و 1.0 در هر طول؛ زیرا مدل‌ها به بخش‌های میانی کمتر توجه می‌کنند. طول‌های 1k، 4k، 16k، 64k و طول هدف شما. نمودار نرخ قبولی را به‌صورت نقشه حرارتی (heatmap) برای هر نوع وظیفه رسم کنید.

معیارها

نرخ قبولی بازیابی، نرخ قبولی استدلال، زمان تا اولین توکن و هزینه به ازای هر پرسمان در هر طول. پیش‌پرکنی (prefill) یک پرامپت (prompt) یک میلیون توکنی می‌تواند بین 30 تا 120 ثانیه طول بکشد؛ بنابراین بودجه مجاز طول متن در محصول، همان‌قدر که به دقت بستگی دارد به تاخیر (latency) نیز وابسته است.

آستانه‌ها

طول بازیابی موثر، بیشترین طولی است که در آن شبکه سوزن به نرخ قبولی 90 درصد می‌رسد. طول استدلال موثر، بیشترین طولی است که آزمون ردگیری در آن به قبولی 70 درصد می‌رسد. انتظار داشته باشید که دومی بین 25 تا 50 درصد پنجره تبلیغ‌شده باشد، و هر دو را در شناسنامه فنی بیاورید.

قاعده بررسی پس‌رفت

بستر آزمایشی را ثابت نگه دارید و نسخه‌بندی کنید. آن را روی تمام مدل‌های نامزد اجرا کنید و تفاوت‌های بازنگری (diff) را به تفکیک نوع وظیفه انتشار دهید. کارت مدل (model card) را به‌عنوان شواهد (evidence) نپذیرید، به امتیازهای خوداظهاری ارائه‌دهنده اعتماد نکنید، و برای حجم کاری چندگامی هرگز به نتیجه آزمون تک‌سوزن اکتفا نکنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا به جای استفاده از جدیدترین بنچمارک عمومی در هر بار، از یک بستر آزمایشی ثابت استفاده می‌کنیم؟ پاسخ مورد انتظار: بررسی پس‌رفت مستلزم اجرای آزمونی یکسان روی هر دو مدل است؛ تغییر بنچمارک باعث می‌شود نتوان تغییر مدل را از تغییر آزمون تمیز داد.
  • سطح 3: مدل جدید در طول هدف، شبکه سوزن را با موفقیت پاس می‌کند اما در یک‌چهارم آن طول در ردگیری متغیر شکست می‌خورد. چه چیزی را به مرحله تولید می‌فرستید؟ پاسخ مورد انتظار: طول استدلال موثر را به‌عنوان محدودیت محصول در نظر بگیرید؛ برای فراتر از آن تکه‌تکه (chunk) یا بازیابی کنید و این را در شناسنامه فنی قید نمایید.
  • سطح 4: پیش‌پرکنی در طول هدف دو دقیقه طول می‌کشد. آیا این موضوع طراحی را تغییر می‌دهد؟ پاسخ مورد انتظار: بله؛ بودجه طول متن بر اساس تاخیر و هزینه‌ای تعیین می‌شود که محصول توان پرداخت آن را دارد، نه آنچه مدل قادر به خواندنش است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «آزمون سوزن را در همان طول تبلیغ‌شده اجرا می‌کنیم و بس.» آزمون سوزن به‌تنهایی چیزی درباره گام‌های چندگانه نشان نمی‌دهد؛ این درس چنین رویکردی را برای هر نوع حجم کاری چندگامی رد می‌کند.
  • «از امتیازهای منتشرشده بافت طولانی توسط خود ارائه‌دهنده استفاده می‌کنیم.» این آمارها خوداظهاری هستند؛ ارزیابی را به‌صورت مستقل روی کاربرد خودتان تکرار کنید.
  • «عمق میانی را تنها در یک طول مشخص تست می‌کنیم.» مدل‌ها به بخش‌های میانی کمتر توجه می‌کنند و با افزایش طول کیفیتشان افت می‌کند؛ آزمایش یک نقطه منفرد، هر دو اثر را پنهان می‌کند.

کجای دوره آموزش داده می‌شود

درس ارزیابی بافت طولانی که مجموعه آزمون‌ها، شبکه نمونه‌برداری، دو آستانه و قاعده بررسی پس‌رفت را آموزش می‌دهد.