افق زمانی در METR و ارزیابی خارجی توانمندی مدل‌ها

تبلیغات تجاری ارائه‌دهندگان مدل‌های زبانی پر از ادعاهایی درباره‌ی توانایی حل مسائل پیچیده و کارکردهای چندساعته‌ی ایجنت‌ها است؛ اما در دنیای واقعی مهندسی، معیار قابل‌اتکایی برای سنجش این ادعاها نیاز داریم. اگر ندانید یک مدل واقعاً تا چه حد می‌تواند بدون دخالت انسان وظایف طولانی را با موفقیت تمام کند، استقرار ایجنت‌های خودمختار در محیط عملیاتی با ریسک بالای خطا و هزینه‌های پیش‌بینی‌نشده همراه می‌شود.

سازمان METR با معرفی بنچمارک افق زمانی (Time Horizon)، چارچوبی عینی برای تبدیل این ادعاها به اعداد قابل‌سنجش فراهم کرده است. در این درس یاد می‌گیرید که این شاخص چگونه با استفاده از برازش لجستیک محاسبه می‌شود و چرا عددی که در بنچمارک‌ها منتشر می‌شود (مانند افق زمانی 14 ساعته) صرفاً یک حد بالا در شرایط آزمایشگاهی است و نباید مستقیماً به عنوان ضریب اطمینان در پروداکشن در نظر گرفته شود.

سازمان METR (نام قبلی: ARC Evals) از دسامبر 2023 یک سازمان مستقل غیرانتفاعی 501(c)(3) است. بنچمارک Time Horizon 1.1 آن‌ها (ژانویه 2026) یک منحنی لجستیک را روی احتمال موفقیت در وظیفه برحسب لگاریتم زمان تکمیل توسط انسان متخصص برازش می‌کند؛ نقطه‌ی تقاطع در احتمال 50 درصد، افق زمانی (time horizon) مدل را مشخص می‌کند. تعاملات ارزیابی 2025–2026 این سازمان مدل‌های GPT-5.1 و GPT-5.1-Codex-Max و ارزیابی‌های پیش‌نمونه‌ی پایش را پوشش می‌دهد (اینکه آیا سیستم پایش می‌تواند وظایف جانبی را تشخیص دهد؛ و آیا ایجنت می‌تواند از دست آن فرار کند). مجموعه‌های بنچمارک: HCAST (بیش از 180 وظیفه در حوزه‌های یادگیری ماشین، سایبر، مهندسی نرم‌افزار و استدلال؛ از 1 دقیقه تا بیش از 8 ساعت)، RE-Bench (شامل 71 وظیفه‌ی پژوهش-مهندسی یادگیری ماشین با خط مبنای انسانی متخصص)، و SWAA. یک نکته‌ی واقع‌بینانه: سنجش‌های METR آرمانی هستند — بدون انسان، بدون پیامدهای واقعی — و این تیم شکاف رفتاری میان ارزیابی و استقرار در محیط عملیاتی را مستند کرده است (درس 1). افق زمانی صرفاً یک حد بالا است، نه پیش‌بینی عملکرد در محیط عملیاتی (پروداکشن).

صورت مسئله

سیاست‌های مقیاس‌پذیری (Scaling policies؛ درس‌های 19 و 20) فقط به اندازه‌ی سنجش‌هایی که به آن‌ها استناد می‌کنند کاربرد دارند. عناوینی مثل «آستانه‌ی AI R&D-4» و «خودمختاری دوربُرد» در متن خط‌مشی‌ها تعریف می‌شوند؛ اما تنها زمانی جنبه‌ی عملیاتی پیدا می‌کنند که ارزیابی‌هایی مشخص، اعدادی دقیق به دست دهند.

سازمان METR همان نهاد ارزیابی خارجی در بازه‌ی 2024–2026 است که بسیاری از این اعداد را تعیین کرده است. آن‌ها مدل‌های مرزی (frontier models) را — اغلب پیش از انتشار عمومی و تحت توافق‌نامه‌ی محرمانگی (NDA) با آزمایشگاه‌ها — ارزیابی می‌کنند و متدولوژی خود را پس از آن انتشار می‌دهند. بنچمارک Time Horizon 1.1 (ژانویه 2026) دست‌سازه‌ی شاخص آن‌هاست: یک عدد اسکالر منفرد که توانمندی مدل را در قالبی قابل‌درک برای انسان خلاصه می‌کند («این مدل می‌تواند وظیفه‌ای را که یک متخصص X ساعت رویش وقت می‌گذارد، با قابلیت اطمینان 50 درصد انجام دهد»).

این درس هم به متدولوژی می‌پردازد (اینکه یک افق زمانی چگونه محاسبه می‌شود) و هم به تفسیر آن (چرا یک افق زمانی صرفاً یک حد بالا است، نه پیش‌بینی عملکرد در محیط عملیاتی). این دو مهارت مکمل یکدیگرند. تیمی که نحوه‌ی برازش افق زمانی را درک می‌کند، در مقایسه با تیمی که صرفاً عدد «14 ساعت» را روی یک اسلاید می‌بیند، بسیار سخت‌تر فریب ادعاهای بی‌پایه‌ی ارائه‌دهندگان را می‌خورد.

مفاهیم کلیدی

پیشینه‌ی METR

• زمان تأسیس: دسامبر 2023 (نام قبلی ARC Evals بود که در قالب یک نهاد مستقل 501(c)(3) جدا شد).
• دامنه (scope): ارزیابی توانمندی‌های خودمختار مدل‌های مرزی، اغلب پیش از انتشار عمومی.
• آزمایشگاه‌های همکار: Anthropic و OpenAI (چندین پروژه‌ی همکاری در بازه‌ی 2025–2026).
• خروجی‌های شاخص: Time Horizon 1.0 (مارس 2025)، Time Horizon 1.1 (ژانویه 2026)، پیش‌نمونه‌های ارزیابی پایش.

برازش افق زمانی

متدولوژی (برگرفته از وبلاگ و مقالات METR):

1. جمع‌آوری مجموعه‌ای از وظایف که زمان تکمیل آن‌ها توسط متخصص از مقیاس دقیقه تا چند ساعت را در بر می‌گیرد. مجموعه‌های فعلی: HCAST (بیش از 180 وظیفه)، RE-Bench (شامل 71 وظیفه)، SWAA.
2. اجرای مدل روی هر وظیفه و ثبت موفقیت یا شکست.
3. برازش یک منحنی لجستیک: $P(\text{success})$ به عنوان تابعی از $\log(\text{expert completion time})$.
4. افق زمانی، همان مدت‌زمان کار متخصص است که در آن P(success) = 0.5 می‌شود.

شکل برازش لجستیک بهترین انتخاب است؛ زیرا توانمندی معمولاً رابطه‌ای صعودی و میل‌کننده به فلات (اشباع) با دشواری وظیفه دارد. انتخاب نقطه‌ی 50 درصد یک قرارداد است (می‌توانست 10 درصد یا 90 درصد باشد)؛ METR در مقاله‌ی تفصیلی خود چندین آستانه (threshold) را گزارش می‌دهد، اما نقطه‌ی 50 درصد را برجسته می‌کند چون شهودی‌ترین معیار است.

آمارهای ژانویه 2026

طبق گزارش Time Horizon 1.1:

• مدل Claude Opus 4.6: حدود 14 ساعت با قابلیت اطمینان 50 درصد، بر اساس Time Horizon 1.1 (ژانویه 2026).
• زمان دو برابر شدن (Doubling time) در وظایف سبک HCAST: حدود 4.3 ماه (130.8 روز) بر اساس برازش داده‌های پس از 2023 گزارش‌شده در Time Horizon 1.1 (ژانویه 2026)؛ رقم حدوداً 7 ماه مربوط به برازش کل داده‌های 2019–2025 در Time Horizon 1.0 است که در TH1.1 در کنار عدد پس از 2023 گزارش شده است.

این‌ها همان ارقام مشخصی هستند که ادامه‌ی فاز 15 به آن‌ها استناد می‌کند. این اعداد در RSP v3.0 شرکت Anthropic (درس 19) و FSF v3 شرکت DeepMind (درس 20) به عنوان یکی از سنجش‌های ورودی برای ارزیابی آستانه‌ها ذکر شده‌اند.

مجموعه‌های بنچمارک

• HCAST: شامل 189 وظیفه در حوزه‌های یادگیری ماشین، امنیت سایبری، مهندسی نرم‌افزار و استدلال عمومی. اسپن (span) زمانی: از 1 دقیقه تا بیش از 8 ساعت کار متخصص. مجموعه‌ی اصلی پشت عدد افق زمانی.
• RE-Bench: شامل 71 وظیفه‌ی پژوهش-مهندسی یادگیری ماشین همراه با خط مبنای (baseline) انسانی متخصص. این معیار می‌سنجد که آیا مدل می‌تواند کارهای تحقیق و توسعه‌ی یادگیری ماشین را که خوراک آستانه‌ی AI R&D-4 است انجام دهد یا خیر.
• SWAA: وظایف کوتاه‌تر؛ کاربردی برای کالیبره کردن بخش پایینی منحنی افق زمانی.

پیش‌نمونه‌های ارزیابی پایش

کارهای 2025–2026 در METR شامل پیش‌نمونه‌های ارزیابی پایش بود: آیا سیستم پایش می‌تواند مدلی را که در حال انجام یک وظیفه‌ی جانبی است (کاری غیر از آنچه اپراتور خواسته) شناسایی کند؛ و آیا ایجنت می‌تواند از دست سیستم پایش بگریزد. این موارد مستقیماً خوراک دسته‌ی «Undermining Safeguards» در سند OpenAI PF v2 و پایش هم‌ترازی فریبکارانه در DeepMind FSF v3 (درس 20) را تأمین می‌کنند.

چرا افق‌های زمانی یک حد بالا به شمار می‌روند؟

• ابزارهای آرمانی: وظایف بنچمارک ابزارهایی تمیز و داده‌هایی با قالب‌بندی بی‌نقص در اختیار مدل می‌گذارند. محیط‌های عملیاتی واقعی بسیار نامرتب‌ترند.
• نبود پیامدهای واقعی: مدل در این آزمون‌ها هیچ هزینه‌ای به مشتری تحمیل نمی‌کند، هیچ داده‌ی واقعی را پاک نمی‌کند و با انسان‌های واقعی تماسی نمی‌گیرد. استقرار در محیط واقعی پیامدهای برگشت‌ناپذیری دارد.
• بازی با بافت ارزیابی (Eval-context gaming): درس 1. مدل‌ها در شرایط آزمون رفتار متفاوتی نشان می‌دهند. گزارش بین‌المللی ایمنی هوش مصنوعی در سال 2026 این پدیده را به صورت تجربی مستند کرده است.
• نبود پراکندگی رفتاری کاربران واقعی: پرامپت‌های بنچمارک ساختاریافته هستند. در مقابل، کاربران واقعی درخواست‌هایی مبهم و وابسته به زمینه تولید می‌کنند.

افق زمانی، سقف توانمندی را در شرایط مساعد نشان می‌دهد. قابلیت اطمینان در محیط عملیاتی عددی کاملاً متفاوت و پایین‌تر است و تیم‌ها برای آگاهی از آن باید توزیع آماری کار خود را اندازه بگیرند.

ضرورت وجود ارزیاب خارجی

ارزیابی خارجی اهمیت دارد، چون آزمایشگاه‌های داخلی انگیزه دارند معیارهای گزارش‌شده‌ی خود را بهینه‌سازی کنند. استقلال METR — به عنوان یک 501(c)(3) با متدولوژی اعلام‌شده و مقالات داوری‌شده توسط همتایان — راهکار ساختاری برای این مسئله است. این موضوع به تنهایی کافی نیست (چون آزمایشگاه‌ها همچنان تعیین می‌کنند چه چیزی را به METR نشان دهند)، اما قطsales بسیار بهتر از نبود ارزیابی خارجی است.

کاربرد عملی ارقام افق زمانی

• به عنوان فیلتر توانمندی: اگر افق زمانی مدلی بسیار کمتر از زمان لازم متخصص برای یک وظیفه‌ی پیشنهادی است، آن را به شکل خودمختار راهی پروداکشن نکنید (فایل مهارت درس 1).
• به عنوان نشانگر روند: زمان دو برابر شدن مشخص می‌کند که روال فعلی حتی بدون راهکارهای کاهش ریسک جدید، تا چه مدت ایمن باقی می‌ماند.
• به عنوان یک پیشین (Prior): افق زمانی 14 ساعته صرفاً نقطه‌ی شروع است. باید با توجه به توزیع وظایف، کیفیت ابزارها و شرایط استقرار خود، آن را رو به پایین تعدیل کنید.

پیاده‌سازی عملی

فایل code/main.py یک برازش لجستیک برای احتمال موفقیت در وظیفه برحسب $\log(\text{expert time})$ را بر روی داده‌های حاصل از نتایج ساختگی پیاده‌سازی می‌کند. این کد افق زمانی 50 درصد (معیار اصلی METR)، افق 10 درصد (محافظه‌کارانه) و افق 90 درصد (خوش‌بینانه) را گزارش می‌دهد. همچنین نشان می‌دهد وقتی نرخ موفقیت بر اثر بازی با بافت ارزیابی به صورت مصنوعی باد می‌کند، چه تغییری در نتایج رخ می‌دهد.

تحویل به پروداکشن

فایل outputs/skill-horizon-interpretation.md ادعای یک ارائه‌دهنده درباره‌ی افق زمانی را بررسی کرده و شکاف میان ادعای بنچمارک و واقعیت محیط عملیاتی را تحلیل می‌کند.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. مطمئن شوید که افق 50 درصدی مدل برازش‌شده با داده‌ی واقعی (ground truth) ساختگی تطابق دارد. حالا گام‌های شبکه‌ی زمانی وظایف را نصف کنید؛ آیا برآورد افق زمانی تغییر معناداری می‌کند؟

2. پست وبلاگ Time Horizon 1.1 در METR را بخوانید. وظایف خاصی را که در آن‌ها قابلیت اطمینان بیشترین و کمترین مقدار را دارد مشخص کنید. دلیل این شکاف را توضیح دهید.

3. مستندات «Measuring Autonomous AI Capabilities» از METR را بخوانید. دسته‌بندی‌های وظایف HCAST را فهرست کنید. دسته‌ای را که برای وظایف پروداکشن وزن بیشتری به آن می‌دهید انتخاب کرده و دلیل آن را بیاورید.

4. پدیده‌ی بازی با بافت ارزیابی را وارد شبیه‌ساز کنید: نتیجه‌ی حدود 20 درصد از وظایف ناموفق را به موفق تغییر دهید. افق زمانی جدید را گزارش کنید. این کار نشان می‌دهد نرخ سوءاستفاده‌ی 20 درصدی چه تأثیری روی عدد مشاهده‌شده می‌گذارد.

5. یک ارزیابی افق زمانی داخلی را روی بک‌لاگ باگ‌های خودتان یا مجموعه‌ای معرف از وظایف طراحی کنید. نحوه‌ی جمع‌آوری داده، برازش و خروجی حاصل را شرح دهید. آن را با اعداد METR مقایسه کنید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• METR — منابع سنجش توانمندی‌های خودمختار هوش مصنوعی — مشخصات HCAST، RE-Bench و SWAA.
• METR — سنجش توانایی هوش مصنوعی در تکمیل وظایف طولانی — مقاله‌ی اصلی افق زمانی.
• METR — افق زمانی 1.1 (ژانویه 2026) — متدولوژی و اعداد جدید.
• Epoch AI — بنچمارک افق‌های زمانی METR — رهگیری زنده.
• Anthropic — سنجش خودمختاری ایجنت در عمل — دیدگاه درونی درباره‌ی سنجش‌های METR.