سامانه‌های خودگردان پژوهشی به مرحله‌ای رسیده‌اند که ادعای اجرای صفر تا صد چرخه تحقیق علمی — از تولید ایده و نوشتن کد تا ترسیم نمودارها و نگارش مقاله — را دارند. بررسی دستاوردهایی مانند AI Scientist v2 به توسعه‌دهندگان کمک میکند تفاوت میان یک ساختار پژوهشی معتبر را با خروجی‌های صرفاً آراسته و غلط‌انداز مدل‌های زبانی تشخیص دهند.
درک معماری این ابزارها از این جهت ضروری است که اتکا به خروجی‌های صوری بدون ارزیابی عمیق، تحلیل‌های فنی و تصمیم‌گیری‌های مهندسی را گمراه میکند. علاوه‌بر این، اجرای خودکار کدهای تولیدشده توسط مدل‌های زبانی خطرات امنیتی و مصرف ناخواسته‌ی منابع را به همراه دارد که مدیریت آنها نیازمند محیط‌های ایزوله است.
با توجه به این‌که پیاده‌سازی و تست چنین چرخه‌هایی نیازمند ساخت محیط‌های ایزوله با ابزارهایی مثل Docker است، توجه به پایداری دانلود ابزارها از بسترهای مختلف و راه‌اندازی ساندباکس‌های استاندارد، گام نخست برای آزمایش ایمن این نسل از ایجنت‌ها محسوب می‌شود.
سامانه‌ی AI Scientist v2 متعلق به Sakana (یامادا و همکاران، arXiv:2504.08066) چرخه‌ی کامل پژوهش را اجرا میکند: فرضیه، کدنویسی، آزمایشها، نمودارها، نگارش مقاله و ارسال آن. این نخستین سامانه‌ای است که مقاله‌ی تولیدشده به‌دست آن در داوری همتا (peer review) یکی از کارگاه‌های ICLR 2025 پذیرفته شده است. ارزیابی مستقل (بیل و همکاران) نشان داد 42% از آزمایشها به دلیل خطاهای کدنویسی با شکست مواجه شدند و در بخش مرور پیشینه‌ی پژوهش نیز بارها مفاهیم تثبیت‌شده و قدیمی را به اشتباه نو برچسب زده است. مستندات رسمی خودِ Sakana هشدار می‌دهند که این پایگاه کد، کدهای تولیدشده توسط مدل‌های زبانی بزرگ (LLM) را اجرا میکند و جداسازی به کمک Docker را توصیه کرده‌اند. نکته‌ی کلیدی ماجرا در دیدن هم‌زمان هر دو روی این سکه نهفته است.
صورت مسئله
پژوهش یک وظیفه‌ی باز و بی‌پایان (open-ended) است. بر خلاف جست‌وجوی الگوریتمی در AlphaEvolve یا خوداصلاحیِ محدود به بنچ‌مارک در DGM، نتیجه‌ی یک پژوهش معیار درستیِ قابل‌ارزیابی با ماشین ندارد. یک مقاله را داوران قضاوت می‌کنند، نه آزمون‌های واحد (unit tests). همین ویژگی، بستن چرخه را دشوارتر میکند — و البته در صورت بسته شدن، بسیار ارزشمندتر، چون پیشرفت‌های فزاینده و تصاعدی درست در دل پژوهش شکل می‌گیرند.
نسخه‌ی اول یعنی AI Scientist v1 (ساکانا، 2024) این چرخه را با تکیه بر قالب‌های نوشته‌شده توسط انسان بست. مدل زبانی فقط آزمایشها را داخل یک ساختار ثابت پر می‌کرد. اما AI Scientist v2 (یامادا و همکاران، 2025) با به‌کارگیری جست‌وجوی درختی ایجنتی همراه با حلقه‌ی نقدِ مدل بینایی-زبانی (vision-language model)، نیاز به قالب اولیه را حذف میکند. سامانه ایده تولید میکند، آزمایشها را می‌سازد، نمودارها را می‌کشد، مقاله را می‌نویسد و با بازخورد داوران بازنویسی و اصلاح انجام می‌دهد.
نتیجه‌ی داوری همتا: یکی از مقالات تولیدشده توسط v2 در یک کارگاه ICLR 2025 پذیرفته شد (با اعلام قبلیِ نحوه‌ی تولید آن به داوران). نتیجه‌ی ارزیابی مستقل: سامانه فرسنگ‌ها با پایدار و قابل‌اتکا بودن فاصله دارد. هر دو گزاره درست هستند.
مفهوم
معماری سامانه
- تولید ایده. مدل زبانی با توجه به موضوع و پیشینه‌ی پژوهش، ایده‌های تحقیقاتی پیشنهاد می‌دهد. نسخه‌ی v1 از قالب‌ها استفاده می‌کرد؛ v2 از جست‌وجوی ایجنتی در فضای فرضیه‌ها بهره می‌برد.
- بررسی بداعت (Novelty check). در مرحله‌ی بازیابی پیشینه‌ی پژوهش، بررسی می‌شود که آیا این ایده قبلاً منتشر شده است یا نه. این دقیقاً همان مرحله‌ای است که ارزیابی بیل و همکاران در آن خطای برچسب‌گذاری را پیدا کرد — روش‌های قدیمی و جاافتاده بارها به اشتباه نو برچسب خورده بودند.
- طرح آزمایش. ایجنت پروتکل آزمایش را آماده کرده و کد آن را می‌نویسد.
- اجرا. کد درون یک ساندباکس (محیط ایزوله) اجرا می‌شود. خطاهای اجرا به حلقه‌ی تلاش مجدد (retry loop) برمی‌گردند. در ارزیابی‌های بیل و همکاران، 42% از آزمایشها در این مرحله به دلیل خطاهای کدنویسی شکست خوردند.
- تولید نمودار. یک مدل بینایی-زبانی نمودارهای تولیدشده را می‌خواند و برای وضوح بیشتر آنها را دوباره ترسیم میکند. این قابلیت، نوآوری فنی کلیدی نسخه‌ی v2 بود.
- نگارش مقاله. مدل زبانی پیش‌نویس مقاله را می‌نویسد و در تعامل با یک داور داخلی آن را اصلاح میکند.
- اختیاری: ارسال مقاله. مقاله به یک رویداد علمی ارسال می‌شود.
معنای پذیرش در کارگاه چیست؟
یکی از مقاله‌های تولیدشده توسط v2 داوری همتا را در کارگاه ICLR 2025 پشت سر گذاشت. نویسندگان، سازوکار تولید مقاله را با کمیته‌ی برگزاری کارگاه در میان گذاشته بودند. این پذیرش یک نقطه‌ی داده (data point) ارزشمند است؛ اما مجوزی نیست برای این ادعا که سامانه واقعاً «پژوهش میکند».
نکته‌ی مهم: مقاله‌های کارگاهی استاندارد پذیرش پایین‌تری نسبت به کنفرانس اصلی دارند. داوری همتا خطای تصادفیِ بالایی دارد؛ در هر شرایطی، درصدی از مقالات ارسالی بالاخره پذیرفته می‌شوند. یک بار موفقیتْ تنها اثبات مفهوم است، نه سندی بر قابلیت اتکا. مقاله‌ی سال 2026 در Nature چرخه‌ی سرتاسری را مستند کرده و خود با هم‌نویسندگی پژوهشگران انسانی نوشته شده است؛ نه این‌که «سامانه یک مقاله‌ی Nature نوشته باشد».
یافته‌های ارزیابی مستقل
بیل و همکاران (arXiv:2502.14297) یک ارزیابی بیرونی انجام دادند. مهم‌ترین یافته‌ها:
- شکست آزمایشها. 42% از آزمایشها به دلیل خطاهای کدنویسی (ایمپورت‌های اشتباه، عدم تطابق ابعاد، متغیرهای تعریف‌نشده) با شکست مواجه شدند. حلقه‌ی تلاش مجدد بخشی از این خطاها را برطرف کرد، نه همه‌ی آنها را.
- برچسب‌گذاری نادرست بداعت. بخش بازیابی پیشینه‌ی پژوهش مکرراً مفاهیم تثبیت‌شده را به عنوان ایدهی نو دسته‌بندی کرد. این پدیده معادل توهم (hallucination) در دنیای پژوهش است.
- شکاف کیفیت ظاهری و فنی. نقد نمودارها توسط مدل بینایی-زبانی تصاویری در سطح مقالات معتبر تولید می‌کرد و به این ترتیب، ضعفهای بنیادی آزمایشها پشت ظاهر آراسته‌ی نمودارها پنهان می‌ماند.
یافته‌ی آخر برای این مرحله حیاتی است. سامانه‌ای که خروجی‌های بسیار باورپذیر تولید میکند بدون آن‌که واقعاً پژوهش معتبری انجام داده باشد، به‌مراتب خطرناک‌تر از سامانه‌ای است که خطاهایش واضح و آشکار است. فرایند ارزیابی باید ادعاهای زیربنایی را بسنجد، نه این‌که صرفاً به ظاهر نمودارها بسنده کند.
نگرانی از فرار از ساندباکس
فایل README در مخزن خودِ Sakana هشدار می‌دهد:
به دلیل ماهیت این نرم‌افزار که کدهای تولیدشده توسط LLM را اجرا میکند، امنیت آن تضمین‌شده نیست. خطراتی از قبیل بستههای نرم‌افزاری مخرب، دسترسی کنترلنشده به اینترنت و ایجاد فرایندهای ناخواسته وجود دارد. مسئولیت استفاده بر عهده‌ی خود شماست و حتماً از محیط ایزوله‌ی Docker استفاده کنید.
این دقیقاً شکل عملیاتی خودمختاری در یک حوزه‌ی تاییدنشده است. مدل زبانی کد می‌نویسد؛ کد اجرا می‌شود؛ و کد می‌تواند به هر کاری که مجوز فرایند اجازه می‌دهد دست بزند. بدون ساندباکسی که دسترسی به فایل‌سیستم، شبکه و فرایندها را به‌شکلی سختگیرانه مسدود کند، هر ایجنت پژوهشی خودگردانی می‌تواند داده‌ها را به بیرون منتقل کند، منابع پردازشی را بسوزاند یا کدهای خودش را بازنویسی کند.
داستان ساندباکس در AlphaEvolve ساده‌تر است چون ارزیاب بسیار دقیقی دارد. اما چرخه‌ی AI Scientist v2 کدهایی بی‌پایان را با اهدافی آزاد و منعطف اجرا میکند. به همین دلیل به ایزوله‌سازی قوی‌تری نیاز دارد (حداقل Docker، و ترجیحاً seccomp / gVisor) همراه با بازبینی دستی تک‌تک مقالات قبل از خروج آنها از سامانه.
جایگاه v2 در لایه‌های لبه‌ی فناوری
| سامانه | هدف | نوع خروجی | ارزیاب | شکست‌های شناخته‌شده |
|---|---|---|---|---|
| AlphaEvolve | الگوریتم‌ها | کد | آزمون واحد + بنچ‌مارک | محدود به دقت و سخت‌گیری ارزیاب |
| DGM | اسکلت‌بندی ایجنت | کد | SWE-bench | دور زدن پاداش |
| AI Scientist v2 | مقالات پژوهشی | متن + کد + نمودار | داوری همتا (ضعیف) | شکست آزمایشها، برچسب‌گذاری غلط، پنهان ماندن ضعف‌ها زیر ظاهر زیبا |
در میان این سه سامانه، v2 ضعیف‌ترین ارزیاب خودکار، گسترده‌ترین سطح خروجی و کوتاه‌ترین مسیر را برای تبدیل شدن به دست‌سازه‌های عمومی دارد. در واقع کنترل‌های عملیاتی (ساندباکس، بازبینی، شفاف‌سازیِ منشأ اثر) بخش اعظم بار ایمنی را به دوش می‌کشند.
استفاده از ابزارهای واقعی
فایل code/main.py چرخه‌ی v2 را در قالب یک ماشین وضعیت شبیه‌سازی میکند: ایده ← بررسی بداعت ← آزمایش ← نمودار ← نگارش ← داوری ← پذیرش یا بازنویسی. هر وضعیت یک احتمال شکست قابل‌تنظیم دارد که از یافته‌های بیل و همکاران استخراج شده است. شبیه‌ساز را برای N چرخه اجرا کنید و موارد زیر را بسنجید:
- چند ایده به مرحله‌ی ارسال می‌رسند.
- چه تعداد از مقالات ارسالی، نقص تجربی و فنی حادی دارند که پشت ظاهر آراسته‌ی مقاله پنهان شده است.
- چطور سقف تلاش‌های مجدد، تعادل میان کیفیت و نرخ خروجی را تغییر می‌دهد.
خروجی این درس
فایل outputs/skill-ai-scientist-sandbox-review.md یک چک‌لیست بازبینی دومرحله‌ای است برای هر خروجی تولیدشده توسط ایجنت چرخه‌ی پژوهش، پیش از آن‌که اجازه‌ی خروج از ساندباکس را پیدا کند.
تمرین‌ها
-
فایل
code/main.pyرا با پارامترهای پیش‌فرض اجرا کنید. چه نسبتی از چرخه‌های اجرا یک مقاله‌ی «تمیز و بی‌نقص» تولید می‌کنند؟ چه نسبتی مقاله‌ای تولید می‌کنند که دچار نقص آزمایشگاهی است ولی نقد دیداری ظاهر آن را موجه نشان داده است؟ -
مقادیر پیش‌فرض از ارقام 42% و 25% مقاله‌ی بیل و همکاران استفاده می‌کنند. شبیه‌ساز را یک بار با
--experiment-failure 0.20 --novelty-mislabel 0.10و بار دیگر با--experiment-failure 0.60 --novelty-mislabel 0.40اجرا کنید. سهم مقاله‌های «آراسته ولی معیوب» در این دو اجرا چه تغییری میکند؟ -
راهنمای README در مخزن AI Scientist v2 متعلق به Sakana را در بخش الزامات ساندباکس بخوانید. دو محدودیت دیگر (فراتر از Docker) نام ببرید که برای یک اجرای خودمختارِ چندروزه اعمال می‌کنید.
-
بخش 4 مقاله‌ی بیل و همکاران را درباره‌ی شکاف کیفیت ظاهری و فنی بخوانید. یک ارزیاب تکمیلی طراحی کنید که بتواند مقاله‌های زیبا اما از نظر تجربی معیوب را شناسایی کند.
-
یک پروتکل بازبینی انسانی برای خروجی‌های ایجنت پژوهشی پیشنهاد دهید که مقیاس‌پذیری بهتری نسبت به گزینه‌ی «خواندن تمام مقالات توسط یک فارغ‌التحصیل دکتری» داشته باشد. گلوگاه را مشخص کنید و ساختار را با دور زدن آن بچینید.
اصطلاحات کلیدی
| اصطلاح | آنچه دیگران می‌گویند | معنای واقعی آن |
|---|---|---|
| AI Scientist v1 | «ایجنت پژوهشی قالب‌محور Sakana» | پر کردن آزمایشها درون یک اسکلت ثابت |
| AI Scientist v2 | «ایجنت پژوهشی بدون نیاز به قالب» | جست‌وجوی درختی ایجنتی همراه با نقد دیداری نمودارها توسط VLM |
| جست‌وجوی درختی ایجنتی | «ایجنت پژوهشی شاخه‌ای» | گسترش هم‌زمان چند طرح آزمایش؛ هرس شاخه‌ها توسط نقاد داخلی |
| نقد بینایی-زبانی | «زیباسازی نمودارها با VLM» | مدل چندوجهی نمودارها را می‌خواند و برای وضوح بیشتر آنها را دوباره ترسیم میکند |
| بازیابی پیشینه‌ی پژوهش | «بررسی بداعت» | جست‌وجو در کارهای قبلی برای تأیید نو بودن ایده — با خطای مستندشده در دسته‌بندی اشتباه |
| فریب ظاهر آراسته (Polish masking) | «مقاله‌ی شیک، تحقیق خراب» | کیفیت ارائه‌ی بصری از کیفیت تجربی فراتر می‌رود؛ پوشاندن نقاط ضعف |
| فرار از ساندباکس | «کد مدل زبانی از کنترل خارج می‌شود» | کدی که توسط ایجنت اجرا شده دست به کارهایی می‌زند که مد نظر طراح چرخه نبوده است |
برای مطالعه‌ی بیشتر
- یامادا و همکاران (2025). The AI Scientist-v2 — مقاله‌ی پژوهشی.
- پست وبلاگ Sakana درباره‌ی انتشار مقاله در Nature 2026 — خلاصه‌ی ارائه‌شده توسط شرکت سازنده همراه با بافتار داوری همتا.
- بیل و همکاران (2025). Independent evaluation of The AI Scientist — داده‌ها و ارقام ارزیابی مستقل.
- مقاله‌ی سامانه‌ی AI Scientist v1 شرکت Sakana — نسخه‌ی قبلی مبتنی بر قالب.
- Anthropic — Measuring AI agent autonomy — چارچوب جامع‌تر برای ارزیابی ایجنت‌های پژوهشیِ بی‌پایان و با ساختار باز.