سؤال مصاحبه

آزمون بی‌نقص سوزن در انبار کاه و یک قرارداد طولانی

A perfect needle test and a long contract

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

کارت مدل (Model Card) یک پنجره‌ی بافتار (Context Window) یک میلیون توکنی و امتیاز بی‌نقص در آزمون سوزن در انبار کاه (Needle in a Haystack) را در همین طول تبلیغ می‌کند. محصول شما از مدل می‌خواهد اعدادی را که در چندین جای یک قرارداد طولانی آمده‌اند با یکدیگر تطبیق دهد. آیا کارت مدل پاسخ پرسش شما را می‌دهد، و به جای آن چه چیزی را می‌سنجید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

خیر. آزمون تک‌سوزن تنها بازیابی (Retrieval) یک حقیقت کاشته‌شده را می‌سنجد و مدل‌های پیشرو (Frontier Models) به سقف عملکرد در آن رسیده‌اند. وظیفه‌ی (Task) شما تجمیع چندگامی (multi-hop aggregation) است که روی بیشتر مدل‌ها بعد از حدود 128k توکن با افت شدیدی روبه‌رو می‌شود. یک آزمون چندگامی در طول مدنظرتان اجرا کنید و دو عدد را گزارش دهید: طول بازیابی مؤثر و طول استدلال مؤثر.

پاسخ کامل

آزمون سوزن چه چیزی را می‌سنجد

یک حقیقت را در عمقی مشخص لابه‌لای عبارت پرکننده (Filler) قرار دهید و آن را بازخوانی کنید. سپس بازه‌ای از عمق‌ها و طول‌ها را بسنجید. این آزمون خط مبنا (Baseline) است؛ وجودش ضروری است اما کافی نیست. موفقیت در تک‌سوزن موفقیت در چندسوزن را تضمین نمی‌کند، و هیچ‌کدام توانایی استدلال روی حقایق پراکنده را پیش‌بینی نمی‌کنند؛ وظیفه‌ای که زودتر از همه با شکست روبه‌رو می‌شود.

بنچمارک‌های سخت‌تر چه چیزی اضافه می‌کنند

  • یک مجموعه‌ی آزمون چندوظیفه‌ای با 13 نوع وظیفه در زمینه‌های بازیابی، ردگیری محاسبات (Tracing) چندگامی، تجمیع و پاسخ‌گویی به سؤالات. در اولین انتشار این مجموعه، تنها نیمی از 17 مدلی که ادعای بافتار 32k داشتند، کیفیت خود را در 32k حفظ کردند.
  • یک آزمون ارجاع درون‌متنی چندمرحله‌ای با 8، 24 یا 100 سوزن، که نشان می‌دهد مدل می‌تواند هم‌زمان چند حقیقت را نگه دارد. در یک مدل با ادعای بافتار 10M توکن، عملکرد نسخه‌ی 8 سوزنی در 1M توکن به 26.3 درصد افت کرد.
  • سوزن‌های غیرواژگانی که هیچ کلمه‌ی مشترکی با پرس‌وجو ندارند، به‌طوری که بازیابی به یک گام استدلال نیاز پیدا کند.

دو عددی که باید در مشخصات فنی بیاورید

  1. طول بازیابی مؤثر: طولانی‌ترین بافتاری که آزمون سوزن در آن همچنان به آستانه‌ای (Threshold) مثل 90 درصد می‌رسد.
  2. طول استدلال مؤثر: طولانی‌ترین بافتاری که یک وظیفه‌ی چندگامی یا تجمیعی در آن به آستانه‌ای مثل 70 درصد می‌رسد. این مقدار معمولاً بین 25 تا 50 درصد پنجره‌ی تبلیغ‌شده است.

ساخت آزمون برای قرارداد شما

سه انتساب زنجیره‌ای را درون متن پرکننده قرار دهید؛ مثلاً یک مقدار اولیه، مقدار دومی که بر اساس اولی تعریف شده و مقدار سومی که بر اساس دومی تعیین می‌شود، و سپس مقدار نهایی را بخواهید. عمق‌های 0، 0.25، 0.5، 0.75 و 1.0 را در هر طول آزمایش کنید. از سوزن‌هایی استفاده کنید که کلمات کلیدی مشترکی با متن پرکننده ندارند. زمان رسیدن به اولین توکن را در هر اجرا ثبت کنید؛ پیش‌پرکنی (prefill) یک پرامپت (Prompt) یک میلیون توکنی می‌تواند بین 30 تا 120 ثانیه طول بکشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا قبولی در آزمون تک‌سوزن موفقیت در آزمون سه‌سوزن را پیش‌بینی نمی‌کند؟ پاسخ مورد انتظار: چندین حقیقت به اتنشن (Attention) هم‌زمان در موقعیت‌های مختلف نیاز دارند؛ آزمون چندسوزنی توانایی مدیریت هم‌زمان چند موضوع را می‌سنجد، نه بازیابی صرف را.
  • سطح 2: چه عمق‌هایی را آزمایش می‌کنید؟ پاسخ مورد انتظار: 0، 0.25، 0.5، 0.75 و 1.0؛ زیرا مدل‌ها به بخش‌های میانی ورودی کمتر توجه می‌کنند.
  • سطح 3: حقیقت کاشته‌شده از همان واژه‌های متن اطرافش استفاده می‌کند. چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: بازیابی به یک تطبیق واژگانی ساده تبدیل می‌شود؛ باید از سوزنی استفاده کرد که هیچ همپوشانی (Overlap) کلمه‌به‌کلمه‌ای نداشته باشد.
  • سطح 3: در کنار دقت در طولِ مدنظر، چه چیز دیگری را می‌سنجید؟ پاسخ مورد انتظار: زمان رسیدن به اولین توکن و هزینه به ازای هر پرس‌وجو؛ پیش‌پرکنی یک پرامپت یک میلیون توکنی ممکن است بین 30 تا 120 ثانیه زمان ببرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «امتیاز ارائه‌دهنده، شواهد (Evidence) مستقلی است.» ارائه‌دهندگان امتیازهای خودشان را منتشر می‌کنند؛ آزمون را روی وظیفه و طول مدنظر خودتان دوباره اجرا کنید.
  • «قبولی در یک میلیون توکن یعنی قبولی در همه‌ی طول‌های کوتاه‌تر و همه‌ی وظایف.» منحنی عملکرد را برای هر نوع وظیفه جداگانه گزارش دهید؛ یک امتیاز تجمیعی تفاوت‌های بزرگ در سطح وظایف مختلف را پنهان می‌کند.
  • «فقط عمق میانی را آزمایش کنید.» پیاده‌سازی‌های زیادی این کار را می‌کنند؛ بخش میانی جایی است که مدل‌ها کمترین اتنشن را به آن دارند، پس هر پنج عمق را بسنجید.

کجای دوره آموزش داده می‌شود

درس ارزیابی بافتار طولانی بنچمارک‌ها و دو عدد لازم برای برگه‌ی مشخصات فنی را معرفی می‌کند.