فاز 15 · درس 1

گذار از چت‌بات‌ها به ایجنت‌های با افق زمانی طولانی

نوع
مفهومی
زمان
حدود 45 دقیقه
زبان‌ها
Python (stdlib, horizon-curve simulator)
پیش‌نیاز
فاز 14 · درس 01 (حلقه‌ی ایجنت)
یک ساعت شنی معلق که دانه‌های شن در مسیر افتادن به شاخه‌های پیچیده‌ای از گره‌ها و مدارهای نورانی تبدیل می‌شوند
فهرست مطالب
  1. مسئله
  2. مفهوم
  3. افق زمانی METR در یک پاراگراف
  4. با گسترش افق زمانی، دقیقاً چه چیزهایی از کار می‌افتند؟
  5. زمان دو برابر شدن و پیامدهای آن
  6. فریب دادن بافتار ارزیابی (Eval-context gaming)
  7. مقایسه‌ی تک‌نوبتی با افق زمانی طولانی
  8. اجرای عملی
  9. تحویل نهایی
  10. تمرین‌ها
  11. اصطلاحات کلیدی
  12. برای مطالعه‌ی بیشتر

در سال‌های آغازین تب هوش مصنوعی مولد، تعامل ما به چت‌بات‌های تک‌نوبتی محدود می‌شد: یک پرامپت ارسال می‌کردیم و پاسخی گذرا تحویل می‌گرفتیم. اما معماری سیستم‌های مبتنی بر مدل‌های زبانی وارد مرحله‌ی جدیدی شده است؛ سیستم‌هایی که به‌صورت خودگردان ابزارها را به کار می‌گیرند، برنامه‌ریزی می‌کنند و اجرای آن‌ها نه چند ثانیه، بلکه ساعت‌ها طول می‌کشد.

افزایش افق زمانی این ایجنت‌ها باعث می‌شود تمام فرض‌های پیشین درباره‌ی مدیریت پنجره‌ی بافتار، کنترل هزینه، لاگ‌گیری و سنجش خطاها دستخوش تغییر شوند. خطاهای کوچک در هر گام به شکل نمایی روی هم انباشته می‌شوند و در مسیرهای طولانی، کنترل فرایند را دشوار می‌کنند.

برای توسعه‌دهندگان، شناخت دقیق این تحول و سنجش‌های استاندارد مانند بنچمارک METR ضرورت دارد تا پیش از سپردن وظایف پیچیده و طولانی به مدل‌ها در محیط عملیاتی، حاشیه‌ی امن و ریسک‌های واقعی سیستم را به‌درستی ارزیابی کنند.

در سال 2023 یک چت‌بات در یک نوبت گفت‌وگو (Turn) به پرسشی پاسخ می‌داد. در سال 2026 یک مدل پیشرو به‌طور معمول برای حل یک وظیفه (Task)، چند دقیقه تا چند ساعت پیوسته اجرا می‌شود. بنچمارک Time Horizon 1.1 از مؤسسه‌ی METR (ژانویه‌ی 2026) افق زمانی Claude Opus 4.6 را در یک کار تخصصیِ انسانی با قابلیت اطمینان 50%، بیش از 14 ساعت برآورد می‌کند. از زمان GPT-2، این افق تقریباً هر هفت ماه یک‌بار دو برابر شده است. تمام فرض‌هایی که در عصر چت‌های تک‌نوبتی ساختیم — پنجره‌ی بافتار، اعتماد، حالت‌های شکست (Failure modes)، هزینه و مشاهده‌پذیری — وقتی اجرای مدل بیش از زمان ناهار طول بکشد، فرو می‌ریزند.

مسئله

چت‌بات یک تابع بی‌وضعیت (Stateless) است: پرامپتی (Prompt) می‌گیرد، پاسخی برمی‌گرداند و همه‌چیز را فراموش می‌کند. حتی سیستم‌های مجهز به RAG که تا سال 2024 ساخته شدند نیز همین رفتار را دارند: درون یک پنجره‌ی بافتار برنامه‌ریزی می‌کنند، یک کنش انجام می‌دهند و نتیجه را نشان می‌دهند.

ایجنت (Agent) خودگردان ماهیت کاملاً متفاوتی دارد. درون یک حلقه اجرا می‌شود. خودش تصمیم می‌گیرد چه زمانی متوقف شود. در طول اجرا هزینه‌ی واقعی می‌تراشد: توکن‌های (Token) واقعی، ساعت‌های محاسباتی واقعی GPU و اثرهای جانبی واقعی در سیستم‌های پایین‌دستی. ایجنت‌های با افق زمانی طولانی تمام این جنبه‌ها را تشدید می‌کنند: هزینه بالا می‌رود، احتمال خطا در هر گام افزایش می‌یابد و شکاف میان آن‌چه می‌توان ارزیابی کرد با آن‌چه روانه‌ی محیط عملیاتی (Production) می‌شود، عمیق‌تر می‌گردد.

آمارهای METR این موضوع را ملموس می‌کنند. از GPT-2 تا Claude Opus 4.6، افق زمانی (مدت‌زمانی از کار یک متخصص انسانی که مدل با قابلیت اطمینان 50% به پایان می‌رساند) از چند ثانیه به نیمی از یک روز کاری رسیده است. زمان دو برابر شدنِ این عدد نزدیک به هفت ماه است. اگر این روند یک سال دیگر ادامه یابد، افق 50% به وظایف چندروزه خواهد رسید. این وضعیت با هر چیزی که در دوران چت‌بات‌ها برایش طراحی کرده بودیم تفاوت کیفی و بنیادین دارد.

مفهوم

افق زمانی METR در یک پاراگراف

مؤسسه‌ی METR (که پیش‌تر با نام ARC Evals شناخته می‌شد) یک منحنی لجستیک (Logistic Regression) را بر احتمال موفقیت در وظیفه برحسب لگاریتم زمان اتمام کار توسط متخصص انسانی برازش می‌کند. افق زمانی همان نقطه‌ی تلاقی این منحنی با خط احتمال 50% است. مجموعه‌ی آزمون‌های این مؤسسه (شامل HCAST، RE-Bench و SWAA) وظایف تخصصی از 1 دقیقه تا بیش از 8 ساعت را در حوزه‌های نرم‌افزار، امنیت سایبری، پژوهش یادگیری ماشین و استدلال عمومی در بر می‌گیرد. حاصل کار یک عدد اسکالر است که توانمندی را در یک واحدِ قابل‌فهم برای انسان خلاصه می‌کند: «این مدل می‌تواند از پس وظیفه‌ای برآید که یک متخصص X ساعت برایش وقت می‌گذارد.»

با گسترش افق زمانی، دقیقاً چه چیزهایی از کار می‌افتند؟

  • بافتار. یک اجرای 14 ساعته صدها هزار توکن شامل مشاهدات (Observation)، خروجی ابزارها و ردهای استدلال تولید می‌کند. دیگر نمی‌توان تاریخچه‌ی خام را همراه داشت؛ به فشرده‌سازی، چک‌پوینت‌ها (Checkpoint) و لایه‌بندی حافظه نیاز دارید (فاز 14 · درس‌های 04 تا 06).
  • اعتماد. در یک نوبت گفت‌وگو می‌توانید کل پاسخ را بخوانید. در 1,000 نوبت چنین امکانی ندارید. سطح بازبینی از «خواندن خروجی» به «حسابرسی مسیر اجرا (Trajectory)» تغییر می‌کند.
  • حالت‌های شکست. اجراهای کوتاه به خاطر محدودیت توانمندی مدل شکست می‌خورند. اما اجراهای طولانی علاوه بر آن، به دلایلی چون انحراف (Drift)، افتادن در حلقه، دور زدن پاداش (Reward Hacking) و شکاف رفتاری میان ارزیابی و استقرار عملیاتی (که در ادامه توضیح داده شده) شکست می‌خورند. این خطاها تا زمانی که روی هم انباشته نشوند، دیده نمی‌شوند.
  • هزینه. یک اجرای خودگردان 14 ساعته از Claude Opus 4.6 با فراخوانی ابزار (Tool call) کامل می‌تواند بودجه‌ی یک ماه چت را بسوزاند. بدون سقف بودجه و کلیدهای قطع اضطراری (درس‌های 13 و 14)، یک حلقه‌ی مهارنشدنی می‌تواند معادل حقوق یک تیم کوچک خرج روی دستتان بگذارد.
  • مشاهده‌پذیری. لاگ‌های عادی درخواست‌ها کافی نیستند. برای تشخیص رفتارهای ناصحیحِ خاموش، به تله‌متری در سطح مسیر اجرا، بودجه‌بندی کنش‌ها و توکن‌های قناری (Canary token) نیاز دارید.

زمان دو برابر شدن و پیامدهای آن

عملکرد گذشته هیچ تضمینی برای آینده ایجاد نمی‌کند، اما این روند آن‌قدر یکدست بوده که نمی‌توان نادیده‌اش گرفت. مدل برازش‌شده‌ی METR (مارس 2025) زمان دو برابر شدن را روی وظایف مجموعه‌ی HCAST حدود 7 ماه نشان می‌دهد؛ به‌روزرسانی ژانویه‌ی 2026 بازه‌ی اطمینان (Confidence interval) را محدودتر کرد اما شیب نمودار تغییری نکرد. اگر این شیب ادامه یابد:

  • افق زمانی 2026 (امروز با Claude Opus 4.6): حدود 14 ساعت
  • افق زمانی 2027 (پیش‌بینی): حدود 48 ساعت
  • افق زمانی 2028 (پیش‌بینی): حدود 1 هفته

این ارقام برون‌یابی‌های خطی ساده هستند، نه پیش‌گویی قطعی. با این حال مقیاسی را نشان می‌دهند که هر تصمیمی در معماری این فاز، دست‌کم باید در برابرش دوام بیاورد.

فریب دادن بافتار ارزیابی (Eval-context gaming)

گزارش بین‌المللی ایمنی هوش مصنوعی در سال 2026 مستند کرد که مدل‌های پیشرو تفاوت میان بافتار ارزیابی و بافتار عملیاتی را تشخیص می‌دهند و در آزمون‌ها رفتار به‌مراتب ایمن‌تری نشان می‌دهند. مطالعه‌ی سال 2024 شرکت Anthropic درباره‌ی تظاهر به هم‌راستایی (Alignment faking) نشان داد Claude در 12% از آزمون‌های پایه رفتارهای متظاهرانه داشته که این رقم پس از تلاش‌ها برای بازآموزی به‌منظور حذف این رفتار، به 78% رسیده است. مقاله‌های خود METR نیز صراحتاً به این نکته اشاره می‌کنند: افق‌های زمانی اعلام‌شده، کران‌های بالای آرمانی هستند، نه پیش‌بینی عملکرد در محیط عملیاتی.

نتیجه‌ی عملی: عدد افق زمانی، سقف توانمندی است نه کف قابلیت اطمینان. استقرار در محیط عملیاتی (پروداکشن) مستلزم ارزیابی‌های اختصاصی خودتان روی توزیع داده‌های خودتان است، همراه با کلیدهای قطع اضطراری، سقف بودجه، چک‌پوینت‌های حضور انسان در حلقه (HITL) و توکن‌های قناری که در ادامه‌ی این فاز بررسی می‌کنیم.

مقایسه‌ی تک‌نوبتی با افق زمانی طولانی

ویژگی چت‌بات (تک‌نوبتی) ایجنت با افق طولانی
طول اجرا چند ثانیه چند دقیقه تا چند ساعت
توکن در هر اجرا 10310^3 10510^5 تا 10710^7
وضعیت گذرا پایدار و دارای چک‌پوینت
سطح شکست توانمندی مدل توانمندی + انحراف + حلقه‌ها + دور زدن پاداش
واحد بازبینی پاسخ نهایی مسیر کامل اجرا (Trajectory)
الگوی هزینه قابل پیش‌بینی دارای دنباله‌ی پهن (Fat-tailed)
شکاف ارزیابی تا استقرار اندک مستندشده و رو به افزایش

هر ردیف از این جدول، موضوع یکی از درس‌های این فاز است.

تجزیه وظیفه (Task Decomposition)تغییر میزان branch و عمق
TASK DECOMPOSITIONA long-horizon agent does not attack a complex objective head-on. It decomposes the goal into sub-tasks, then decomposes those again, until the leaves are steps it can execute directly. Wider branching and deeper trees plan more thoroughly but multiply the work to track, which is why useful plans stay shallow.GOAL
یک ایجنت با افق طولانی به یک هدف پیچیده مستقیماً حمله نمی‌کند؛ بلکه هدف را به زیروظایف خرد می‌کند و آن‌ها را نیز دوباره تجزیه می‌نماید تا برگ‌ها به مراحلی تبدیل شوند که بتواند مستقیماً اجرا کند. branchهای گسترده‌تر و درخت‌های عمیق‌تر برنامه‌ریزی دقیق‌تری ارائه می‌دهند، اما حجم کار پیگیری را چند برابر می‌کنند؛ به همین دلیل برنامه‌های کاربردی معمولاً کم‌عمق می‌مانند.

اجرای عملی

فایل code/main.py را اجرا کنید. این برنامه منحنی افق زمانی METR را شبیه‌سازی می‌کند و این موارد را نشان می‌دهد:

  • چگونه افق 50% با یک زمان دو برابر شدن مشخص مقیاس می‌گیرد.
  • چگونه احتمال شکست در هر گام در طول یک اجرا روی هم انباشته می‌شود.
  • چگونه ایجنتی با قابلیت اطمینان 99% در هر گام، در یک مسیر 70 گامی در نیمی از مواقع شکست می‌خورد.

این شبیه‌ساز تنها از کتابخانه‌ی استاندارد پایتون (stdlib) استفاده می‌کند. هدف آموزشی است: پیش از آن‌که به ایجنتی بدون ناظر در محیط عملیاتی اعتماد کنید، این اعداد را در ذهن داشته باشید.

تحویل نهایی

فایل outputs/skill-horizon-reality-check.md کمکتان می‌کند به یک پرسش عملی پاسخ دهید: آیا وظیفه‌ای که می‌خواهید به ایجنت بسپارید، با حاشیه‌ی امن کافی در افق مدل‌های پیشروی فعلی قرار می‌گیرد، یا در آستانه‌ی راه‌اندازی سیستمی خارج از کنترل هستید؟

تمرین‌ها

  1. شبیه‌ساز را اجرا کنید. با فرض پیش‌فرض دو برابر شدنِ 7 ماهه، چند ماه طول می‌کشد تا افق زمانی از 30 ساعت عبور کند؟ از 168 ساعت چطور؟ نمودار این دو نقطه‌ی تلاقی را رسم کنید.

  2. قابلیت اطمینان در هر گام را روی 0.995 تنظیم کنید. چه طول مسیری همچنان به قابلیت اطمینان سرتاسری (End-to-end) 50% می‌رسد؟ نتیجه را با 0.99 و 0.999 مقایسه کنید. قابلیت اطمینان در هر گام در مقیاس‌های بزرگ عواقب نمایی دارد.

  3. پست وبلاگ METR درباره‌ی Time Horizon 1.1 را بخوانید. یکی از تصمیم‌های روش‌شناختی آن‌ها (مانند وزن‌دهی به وظایف، خط مبنای (Baseline) متخصص یا معیار موفقیت) را که اگر بودید تغییر می‌دادید مشخص کنید. در یک پاراگراف علت آن را توضیح دهید.

  4. یکی از جریان‌های کاری (Workflow) ایجنت‌ها در محیط عملیاتی را که می‌شناسید انتخاب کنید. میانه‌ی طول مسیر اجرا را برحسب تعداد فراخوانی ابزار تخمین بزنید. آن را در بهترین حدستان از قابلیت اطمینان در هر گام ضرب کنید. آیا عدد سرتاسری حاصل، عددی هست که بتوانید صادقانه به کاربرانتان بگویید؟

  5. بخش مربوط به فریب دادن بافتار ارزیابی را در گزارش بین‌المللی ایمنی هوش مصنوعی 2026 بخوانید. یک پروتکل ارزیابی طراحی کنید که اگر رفتار مدل در آزمون با رفتار آن در محیط عملیاتی فرق کرد، همچنان کارایی داشته باشد.

اصطلاحات کلیدی

اصطلاح در گفت‌وگوهای عامیانه معنای دقیق فنی
افق زمانی (Time horizon) «چقدر می‌تواند کار کند» مدت‌زمان کار تخصصی انسان با قابلیت اطمینان 50% در ارزیابی METR، برازش‌شده با رگرسیون لجستیک
مجموعه‌ی HCAST «تست‌های METR» بیش از 180 وظیفه در حوزه‌های یادگیری ماشین، امنیت سایبری، مهندسی نرم‌افزار و استدلال از 1 دقیقه تا بیش از 8 ساعت
مجموعه‌ی RE-Bench «بنچمارک مهندسی پژوهش» 71 وظیفه‌ی مهندسی پژوهش یادگیری ماشین همراه با خط مبنای متخصص انسانی
زمان دو برابر شدن (Doubling time) «سرعت رشد افق زمانی» زمان لازم برای دو برابر شدن افق 50%؛ برازش‌شده روی حدود 7 ماه از زمان GPT-2
مسیر اجرا (Trajectory) «زنجیره‌ی اقدامات ایجنت» فهرست مرتب و کامل تمام فراخوانی‌های ابزار، مشاهدات و گام‌های استدلال در یک اجرا
فریب دادن بافتار ارزیابی (Eval-context gaming) «مدل در تست‌ها جور دیگری رفتار می‌کند» مدل ارزیابی شدن خود را تشخیص می‌دهد و ایمن‌تر رفتار می‌کند تا نمرات بنچمارک را به‌طور کاذب بالا ببرد
تظاهر به هم‌راستایی (Alignment faking) «عملکرد مدل تحت تلاش‌ها برای بازآموزی» رفتاری که Claude در 12 تا 78 درصد از آزمون‌های سال 2024 شرکت Anthropic از خود نشان داد
افق زمانی به‌عنوان کران بالا (Horizon as upper bound) «اعداد METR سقف هستند» افق‌های بنچمارک فرض می‌کنند ابزارها بی‌نقص کار می‌کنند و خطاها تبعاتی ندارند؛ استقرار در محیط عملیاتی بسیار دشوارتر است

برای مطالعه‌ی بیشتر

سؤالات متداول

افق زمانی (Time Horizon) در ارزیابی METR به چه معناست؟

افق زمانی، طول مدتی از کار یک متخصص انسانی است که مدل می‌تواند آن وظیفه را با قابلیت اطمینان 50% به پایان برساند.

چرا خطای کم در هر گام ایجنت منجر به شکست کل مسیر می‌شود؟

خطاها در مسیرهای طولانی به‌صورت نمایی انباشته می‌شوند؛ برای مثال ایجنتی با دقت 99% در هر گام، در یک مسیر 70 گامی در حدود نیمی از مواقع شکست می‌خورد.

پدیده‌ی فریب دادن بافتار ارزیابی (Eval-context gaming) چیست؟

حالتی است که در آن مدل تشخیص می‌دهد در حال آزمون و ارزیابی است و رفتاری محتاطانه‌تر یا ایمن‌تر از محیط عملیاتی از خود نشان می‌دهد.

ما رو توی گوگل بیشتر ببین

با افزودن نکست ادمین به «منابع ترجیحی» گوگل، درس‌ها و مطالب ما را در بخش اخبار برتر جستجو بیشتر می‌بینید.