توسعه‌دهندگان هوش مصنوعی هنگام ساخت ایجنت‌ها معمولاً توانایی آن‌ها را با فراخوانی ساده‌ی چند تابع می‌سنجند. اما چالش واقعی زمانی آغاز میشود که بخواهید یک ایجنت کارهای روزمره‌ای مثل خرید آنلاین با 20 کلیک متوالی یا تغییر تنظیمات شبکه در لینوکس را با ماوس و کیبورد انجام دهد. در چنین شرایطی، سنجش بر مبنای خروجی متنی کافی نیست و به معیارهای دقیق عملیاتی نیاز است.
بنچمارک‌های WebArena و OSWorld استانداردهای پیشرو برای ارزیابی این قابلیت‌ها هستند. یادگیری معماری این دو چارچوب به شما نشان می‌دهد مدل‌های بزرگی مانند Claude یا OpenAI چگونه برای تعامل با کامپیوتر آموزش می‌بینند و چرا حتی مدل‌های پیشرفته نیز در پیدا کردن محل دکمه‌ها روی اسکرین‌شات یا چم‌وخم کار با سیستم‌عامل با خطا روبه‌رو می‌شوند.
بنچمارک WebArena توانمندی ایجنتهای وب را روی چهار اپلیکیشن خودمیزبان (self-hosted) می‌سنجد. در مقابل، OSWorld توانمندی ایجنتهای دسکتاپ را در سیستم‌عامل‌های Ubuntu، Windows و macOS ارزیابی میکند. در زمان انتشار (2023–2024)، هر دو بنچمارک فاصله‌ی عمیقی را میان بهترین ایجنت‌ها و انسان‌ها نشان دادند. این فاصله در حال کم‌شدن است، اما حالت‌های شکست (failure modes) دست‌نخورده باقی مانده‌اند.
اهداف یادگیری
- چهار اپلیکیشن خودمیزبان WebArena را نام ببرید و توضیح دهید چرا ارزیابی مبتنی بر اجرا (execution-based evaluation) اهمیت دارد.
- توضیح دهید چرا OSWorld به جای APIهای دسترس‌پذیری (accessibility APIs)، از اسکرین‌شات‌های واقعی سیستم‌عامل استفاده میکند.
- دو حالت شکست اصلی در OSWorld را نام ببرید: انطباق بصری در رابط کاربری (GUI grounding) و دانش عملیاتی (operational knowledge).
- خلاصه کنید که بسته‌های OSWorld-G و OSWorld-Human چه مواردی را به بنچمارک پایه اضافه میکنند.
صورت مسئله
ایجنتهای عمومی می‌توانند ابزارها را فراخوانی کنند. اما آیا از پس هدایت یک مرورگر در دل 20 کلیک متوالی برای تکمیل فرایند خرید برمی‌آیند؟ آیا می‌توانند فقط با تکیه بر ماوس و کیبورد، یک سیستم لینوکسی را پیکربندی کنند؟ WebArena و OSWorld دقیقاً برای پاسخ به همین پرسش‌ها آمده‌اند.
مفاهیم کلیدی
بنچمارک WebArena (ژو و همکاران، ICLR 2024)
- 812 وظیفه‌ی افق‌بلند (long-horizon) در چهار برنامه‌ی وب خودمیزبان: فروشگاه اینترنتی، انجمن گفتگو، ابزار توسعه‌ی مشابه GitLab و سامانه‌ی مدیریت محتوای تجاری (CMS).
- به‌همراه ابزارهای کمکی: نقشه، ماشین‌حساب و یادداشت‌نویس (scratchpad).
- ارزیابی مبتنی بر اجرا و از طریق APIهای سبک Gym انجام میشود: آیا سفارش واقعاً ثبت شد؟ آیا issue بسته شد؟ آیا صفحه‌ی CMS به‌روزرسانی شد؟
- در زمان انتشار: بهترین ایجنت مبتنی بر GPT-4 به نرخ موفقیت 14.41% رسید، در حالی که انسان‌ها به 78.24% دست یافتند.
خودمیزبان بودن محیط‌ها بسیار مهم است؛ بنچمارک دچار ناپایداریهای تصادفی نمی‌شود چون نسخه‌ی اپلیکیشنهای هدف کاملاً قفلشده و تکرارپذیر است.
شاخه‌های توسعه‌یافته
- VisualWebArena — وظایفی با ارجاع‌دهی مکانی بصری که موفقیت در آن‌ها وابسته به تفسیر تصاویر است (اسکرین‌شات‌ها در نقش ورودی‌های بصری درجه‌یک).
- TheAgentCompany (دسامبر 2024) — ترمینال و کدنویسی را هم اضافه میکند تا محیط به کار ریموتِ واقعی شبیه‌تر شود.
بنچمارک OSWorld (شیه و همکاران، NeurIPS 2024)
- 369 وظیفه‌ی واقعی رایانه‌ای در محیط سیستم‌عامل‌های Ubuntu، Windows و macOS.
- کنترل آزادانه‌ی ماوس و کیبورد در برنامه‌های واقعی.
- استفاده از اسکرین‌شات‌های 1920×1080 به‌عنوان ورودی دیداری.
- در زمان انتشار: بهترین مدل به نرخ موفقیت 12.24% رسید در مقایسه با نرخ 72.36% برای انسان.
حالت‌های شکست اصلی
- انطباق بصری در رابط کاربری (GUI grounding): نگاشت پیکسل به المان‌های صفحه. مدل‌ها هنگام تعیین مکان دقیق المان‌های رابط کاربری در ابعاد 1920×1080 به مشکل می‌خورند.
- دانش عملیاتی (Operational knowledge): مدل باید بداند فلان تنظیمات در کدام منو است، کدام کلید میانبر کارساز است یا کدام قاب (pane) مربوط به تنظیمات است؛ دانش عمیقی از گوشه‌وکنار سیستم‌عامل که انسان‌ها طی سال‌ها به دست می‌آورند.
کارهای تکمیلی
- OSWorld-G — مجموعه‌ای شامل 564 نمونه‌ی اختصاصی ارجاع‌دهی مکانی به‌همراه مجموعه‌ی آموزشی Jedi. این ابزار ارجاع‌دهی مکانی را از برنامه‌ریزی (planning) جدا میکند تا بتوانید ضعف هر کدام را مستقل بسنجید.
- OSWorld-Human — مسیرهای اجرای بهینه و معیار (gold trajectories) که متخصصان انسانی دستی ثبت کرده‌اند. این داده‌ها نشان می‌دهند ایجنتهای برتر، 1.4 تا 2.7 برابر بیشتر از حد لازم گام برمیدارند (شکاف در کارایی مسیر).
چرا این موضوع اهمیت دارد؟
قابلیت Computer use در Claude، ایجنت CUA در OpenAI و Computer Use در Gemini 2.5 (درس 21)، همگی روی سناریوهایی آموزش دیده‌اند که تحت تأثیر مستقیم WebArena و OSWorld طراحی شده‌اند. بنچمارکها هدف را مشخص کرده‌اند و مدل‌های آماده‌ی انتشار در بازار، پاسخ شرکت‌ها به این هدف هستند.
خطاهای رایج در ارزیابی
- ارزیابی‌های مبتنی بر اسکرین‌شاتِ صِرف: مبنای کار OSWorld تصویر صفحه است؛ ارزیابی ایجنتی که از DOM یا APIهای دسترس‌پذیری استفاده میکند، چالش اصلی ارجاع‌دهی مکانی را دور می‌زند.
- نادیده‌گرفتن طول مسیر: نمره‌دهیِ صرفاً بر اساس نرخ موفقیت، افت کارایی 1.4 تا 2.7 برابری در تعداد گام‌ها را که OSWorld-Human نشان می‌دهد، نادیده می‌گیرد.
- تغییر ناخواسته در اپلیکیشنهای خودمیزبان: اپهای WebArena به نسخههای خاصی وابسته‌اند؛ ارتقای این برنامه‌ها بدون بازبینی دقیق، امکان مقایسه‌ی نتایج را از بین می‌برد.
پیاده‌سازی عملی
کد code/main.py یک بستر آزمایشی (harness) ساده برای ایجنت وب پیاده میکند:
- یک ماشین وضعیت (State Machine) مینیمال برای «برنامه‌ی خرید اینترنتی»: شامل متدهای list_items، add_to_cart و checkout.
- مسیرهای اجرایی بهینه (gold trajectories) برای 3 وظیفه.
- یک ایجنت اسکریپتی که تلاش میکند هر وظیفه را اجرا کند.
- ارزیاب مبتنی بر اجرا (بررسی وضعیت پایانی) و سنجه‌ی کارایی مسیر (تعداد گام‌ها در مقایسه با مسیر بهینه).
آن را اجرا کنید:
python3 code/main.pyخروجی: نمایش نرخ موفقیت و کارایی مسیر به ازای هر وظیفه، درست منطبق بر متدولوژی OSWorld-Human.
کاربرد در دنیای واقعی
- WebArena Verified را روی کلاستر داخلی مستقر کنید تا ارزیابی مستمر داشته باشید.
- OSWorld را در ناوگانی از ماشین‌های مجازی برای سنجش ایجنتهای دسکتاپ به کار بگیرید.
- ایجنتهای کار با کامپیوتر (Computer-use agents) (درس 21) — مثل مدل‌های Claude، OpenAI CUA و Gemini — که همگی روی چنین تسک‌هایی آموزش دیده‌اند.
- فرایندهای اختصاصی محصول خودتان — سناریوهای بهینه‌ی 20 کارپایه‌ی اصلی محصول خود را ضبط کنید و ایجنت‌ها را هفتگی در برابر آن‌ها بسنجید.
خروجی نهایی
فایل outputs/skill-web-desktop-harness.md یک بستر آزمایشی برای ایجنت وب و دسکتاپ پیاده‌سازی میکند که از ارزیابی مبتنی بر اجرا و سنجه‌ی کارایی مسیر بهره می‌برد.
تمرین‌ها
- بستر آزمایشی را با افزودن دومین اپلیکیشن (یک انجمن گفتگو) توسعه دهید. 3 وظیفه همراه با مسیر بهینه‌ی آن‌ها بنویسید.
- گزارش‌دهی کارایی مسیر را به ازای هر تسک پیاده کنید. در نمونه‌ی ساده‌ی شما، آیا ایجنت 1 برابر، 2 برابر یا 3 برابر بیشتر از مسیر بهینه گام برمی‌دارد؟
- یک ابزار «گمراه‌کننده» (distractor) تعریف کنید؛ ابزاری که در مسیر بهینه هرگز استفاده نمی‌شود. آیا ایجنتِ اسکریپتی وسوسه میشود از آن استفاده کند؟
- مقاله‌ی OSWorld-G را بخوانید. در ارزیابی‌های خود، چگونه خطاهای ارجاع‌دهی مکانی را از خطاهای ناشی از برنامه‌ریزی تفکیک می‌کنید؟
- راهنمای اپلیکیشنهای WebArena (فایل README) را بخوانید. در صورت ارتقای نسخه‌ی برنامه‌های قفلشده، چه بخش‌هایی از کار می‌افتند؟
اصطلاحات کلیدی
| اصطلاح | در گفتگوها | معنای دقیق فنی |
|---|---|---|
| WebArena | «بنچمارک ایجنت وب» | 812 وظیفه روی 4 اپلیکیشن خودمیزبان با ارزیابی شبیه Gym |
| VisualWebArena | «نسخه‌ی بصری WebArena» | بنچمارک با ارجاع‌دهی مکانی بصری؛ اسکرین‌شات‌ها نقش ورودی اصلی را دارند |
| OSWorld | «بنچمارک ایجنت دسکتاپ» | 369 وظیفه‌ی واقعی در بسترهای Ubuntu، Windows و macOS |
| GUI grounding | «نگاشت پیکسل به المان» | پیدا کردن المان‌های رابط کاربری در تصویر 1920×1080 توسط مدل |
| Operational knowledge | «چم‌وخم سیستم‌عامل» | شناخت ساختار منوها، کلیدهای میانبر و قاب تنظیمات |
| OSWorld-G | «مجموعه‌ی ارزیابی بصری» | 564 نمونه‌ی ارجاع‌دهی مکانی به‌همراه مجموعه‌ی آموزشی |
| OSWorld-Human | «مسیرهای بهینه» | توالی گامهای اصولی و کارشناسی برای اندازه‌گیری بهره‌وری |
| Trajectory efficiency | «گامهای اضافه نسبت به مسیر بهینه» | نسبت تعداد گامهای برداشتهشده توسط ایجنت به حداقل گامهای انسان |
برای مطالعه‌ی بیشتر
- ژو و همکاران، مقاله‌ی WebArena (کد arXiv:2307.13854) — بنچمارک وب با چهار اپلیکیشن
- شیه و همکاران، مقاله‌ی OSWorld (کد arXiv:2404.07972) — بنچمارک دسکتاپ در چند سیستم‌عامل
- Anthropic، معرفی قابلیت Computer use — چگونگی شکل‌گیری توانمندی‌های مدل Claude بر اساس این بنچمارکها
- OpenAI، ایجنت کار با کامپیوتر (Computer-Using Agent) — آمار و ارقام عملکرد مدل در بنچمارک‌های OSWorld و WebArena