تا پیش از ظهور مدلهای بینایی-زبان-اکشن (Vision-Language-Action یا به اختصار VLA)، ربات‌ها در محیط‌های بسته و فقط با فرامین سخت‌کدشده کار می‌کردند. چالش اصلی زمانی آشکار می‌شد که می‌خواستیم یک ربات با دریافت فرمانی ساده به زبان طبیعی، جسم ناشناخته‌ای را در محیط تشخیص دهد و بازوی مکانیکی‌اش را با دقت فیزیکی حرکت دهد. مدلهای VLA با تبدیل اکشن‌های فیزیکی به خروجی‌های مدلی یکپارچه، این فاصله‌ی تاریخی میان درک معنایی و کنترل سخت‌افزار را از میان برداشته‌اند.
در این درس ساختار توکن‌سازی اکشن در مدلهای شاخصی مثل RT-2 و OpenVLA، رویکرد پیوسته‌ی تطبیق جریان در π0 و معماری تفکیک‌شده‌ی سامانه‌ی 1 و 2 در NVIDIA GR00T بررسی میشود. این مباحث دانش پایه‌ایِ لازم برای ورود به حوزه‌ی سیستم‌های خودران و کنترل رباتیک هوشمند به شمار می‌روند.
نخستین باری که مدلی توانست دستور پختی را از وب‌سایتی بخواند و آن را با رباتی در آشپزخانه پیاده کند، مدل RT-2 بود (Google DeepMind، ژوئیه 2023). مدل RT-2 اکشنها را به شکل توکن‌های متنی گسسته‌سازی کرد، یک VLM را همزمان روی دادههای وب و دادههای اکشن ربات فاین‌تیون کرد (co-fine-tuning)، و نشان داد که دانش بصری‌زبانی در مقیاس وب به کنترل رباتیک قابل انتقال است. مدل OpenVLA (ژوئن 2024) نسخه‌ی مرجع متن‌باز با 7B پارامتر را عرضه کرد. سری مدلهای π0 از شرکت Physical Intelligence (سال‌های 2024 تا 2025) اکشن‌اکسپرت‌های تطبیق جریان (Flow Matching) را اضافه کردند. مدل GR00T N1 انویدیا (مارس 2025) کنترل دو سامانه‌ای (System 1 / System 2) را در مقیاس وسیع برای ربات‌های انسان‌نما ارائه داد. مفهوم بنیادین VLA (مدلهای بینایی-زبان-اکشن یا همان Vision-Language-Action) — یعنی مدلی یکپارچه که می‌بیند، می‌خواند و عمل میکند — پلی است میان مدلهای ادراکی این فاز و سیستم‌های خودران در فاز 15.
اهداف یادگیری
- توکن‌سازی اکشن (action tokenization) را شرح دهید: کدگذاری گسسته در بازه‌ها (RT-2)، توکن‌های اکشن بهینه‌ی FAST و اکشن‌های پیوسته با تطبیق جریان (π0).
- توضیح دهید چرا فاینتیونینگ همزمان روی دادههای وب و رباتیک، انتقال دانش عمومی به کارهای جدید را حفظ میکند.
- مدلهای OpenVLA (متن‌باز 7B بر پایه‌ی Llama به همراه VLM)، π0 (تطبیق جریان) و GR00T N1 (دو سامانه‌ای) را روی وظیفه‌ای یکسان مقایسه کنید.
- دیتاست Open X-Embodiment و نقش آن را به عنوان مجموعه‌ی آموزشی RT-X نام ببرید.
صورت مسئله
ساخت رباتی که کارهای خانه را بر اساس دستورات به زبان طبیعی انجام دهد، از دهه‌ی 1970 میلادی هدفی پژوهشی بوده است. پاسخ دهه‌ی 2020 به این خواسته: مدل VLA است. همان معماری VLM که برای پرسش‌وپاسخ تصویری (VQA) استفاده می‌شد، اینجا هم به کار می‌رود؛ اما خروجی به جای متن، اکشن است (گشتاور مفاصل، موقعیت مجری نهایی یا end-effector، دستورات گسسته).
چالش‌های ویژه‌ی مدلهای VLA:
- فضاهای اکشن پیوسته (زوایای مفاصل، نیروها) و چندبُعدی هستند (یک بازوی 7 درجه آزادی + گریپر 3 درجه آزادی = 10 بُعد در فرکانس 30 Hz).
- دادههای آموزشی مختص ربات کمیاب‌اند. مجموعه‌ی Open X-Embodiment حدود 1M مسیر حرکتی دارد؛ در حالی که دادههای تصویر-متن وب بیش از 5B نمونه هستند.
- فرکانس کنترل حیاتی است. حلقه‌ی کنترلی 30 Hz یعنی 33ms بودجه‌ی زمانی برای هر اکشن.
- ایمنی. یک اکشن اشتباه می‌تواند به سخت‌افزار، انسان‌ها یا اموال آسیب بزند.
مفاهیم کلیدی
توکن‌سازی اکشن (RT-2)
ایده‌ی RT-2 این است: هر هدف مفصل را به عنوان یک توکن متنی کوانتایزشده نمایش دهیم. بازهی نرمالایزشده‌ی [-1, 1] را به 256 بازه (bin) گسسته تقسیم کنید و هر بازه را به یک شناسه در واژگان نسبت دهید. یک اکشن با 10 درجه آزادی (DOF) در هر گام کنترلی تبدیل به 10 توکن میشود.
یک VLM از نوع PaLM-X را روی ترکیبی از این داده‌ها به شکل همزمان فاین‌تیون کنید:
- جفت‌های تصویر-متن وب (کپشن‌نویسی، VQA).
- نمونه‌های نمایشی ربات، همراه با اکشن‌هایی در قالب توکن.
مدل عبارت «مکعب قرمز را بردار» (زبان) ← تصویر (بینایی) ← توالی اکشن 10 توکنی (اهداف گسسته‌ی مفاصل) را می‌بیند. پیش‌آموزش روی وب، انتقال دانش عمومی را حفظ میکند: RT-2 می‌تواند از دستور «به سمت شیئی که سریع حرکت میکند برو» پیروی کند، هرچند که عبارت «سریع حرکت میکند» در دادههای آموزشی آن نبوده است.
نرخ اینفرنس در مقاله‌ی RT-2 بین 3 تا 5 Hz بود که به خاطر فرایند بازگشتی (autoregressive) دیکود در VLMها محدود می‌شد.
مدل OpenVLA — مرجع متن‌باز با 7B پارامتر
مدل OpenVLA (اثر Kim و همکاران، ژوئن 2024) معادل متن‌بازِ RT-2 است. این مدل از بک‌بون Llama با 7B پارامتر، انکودر بینایی دوگانه‌ی DINOv2 + SigLIP و توکن‌سازی اکشن در 256 بازه بهره می‌برد.
مدل روی Open X-Embodiment آموزش دیده است (970k مسیر حرکتی در 22 ربات مختلف) و با پشتیبانی از فاینتیونینگ LoRA برای انطباق با ربات‌های جدید عرضه میشود.
اینفرنس: با کوانتایزیشن روی یک پردازنده‌ی A100 به 4 تا 5 Hz می‌رسد. این سرعت برای دست‌کاری آرام اشیا کافی است، اما به درد کنترل فرکانس‌بالا نمی‌خورد.
توکنایزر FAST — دیکود سریع‌تر اکشن
پژوهش Pertsch و همکاران (2024) نشان داد که توکن‌سازی با بازه‌های گسسته ناکارآمد است؛ چون بیشتر اکشنها در بخش کوچکی از فضای بازه‌ها متمرکز می‌شوند. ابزار FAST (توکنایزر توالی اکشن در حوزه‌ی فرکانس یا Frequency-domain Action Sequence Tokenizer) توالی‌های اکشن را با تبدیل کسینوسی گسسته (DCT) فشرده کرده و ضرایب آن را کوانتایز میکند.
یک مسیر اکشن 30 گامی به جای 300 توکن در بازه‌های گسسته، به حدود 10 توکن FAST تبدیل میشود. در نتیجه اینفرنس بدون افت کیفیت، 3 تا 5 برابر سریع‌تر اجرا میشود.
مدل π0 و اکشن‌های تطبیق جریان
مدل π0 از شرکت Physical Intelligence (اثر Black و همکاران، اکتبر 2024) توکن‌های اکشن گسسته را با یک اکشن‌اکسپرت مبتنی بر تطبیق جریان جایگزین میکند:
- یک ترنسفورمر اکشن کوچک وضعیت‌های پنهان (hidden states) مدل VLM را می‌خواند و یک توالی پیوسته‌ی 50 گامی از اکشنها را با جریان تصحیح‌شده (Rectified Flow) در خروجی تحویل می‌دهد.
- سر (head) اکشن با تابع زیان (loss) تطبیق جریان آموزش می‌بیند؛ پیش‌آموزش VLM دست‌نخورده باقی می‌ماند.
- اینفرنس: تولید کل توالی اکشن در حدود 5 گام نویززدایی، که عملاً کنترلی با فرکانس 50 Hz فراهم میکند.
ادعای π0: عملکردی بهتر از OpenVLA و Octo در مجموعه‌ی گسترده‌ای از کارهای دست‌کاری اشیا دارد. فرمول‌بندی اکشن پیوسته، نرمی و پیوستگی حرکت را حفظ میکند؛ در حالی که گسسته‌سازی این ویژگی را از بین می‌برد.
مدلهای π0.5 و π0-FAST ارتقاهای بعدی هستند. مدل π0-FAST توکن‌سازی FAST را با تطبیق جریان ترکیب میکند.
مدل GR00T N1 — سیستم دوگانه برای ربات‌های انسان‌نما
مدل GR00T N1 از شرکت NVIDIA (مارس 2025) ویژه‌ی ربات‌های انسان‌نما ساخته شده است (بیش از 30 درجه آزادی، تمام بدن):
- سامانه 2: یک VLM بزرگ که صحنه و دستور را می‌خواند و زیرهدف‌های سطح بالا را با نرخ حدود 1 Hz تولید میکند.
- سامانه 1: یک ترنسفورمر کوچک در سر اکشن که فرامین سطح پایین مفاصل را با فرکانس 50 تا 100 Hz و بر اساس آن زیرهدف‌ها صادر میکند.
این تفکیک بر تفکر سریع و کند دنیل کانمن منطبق است: سامانه 2 برنامه‌ریزی میکند، سامانه 1 دست به عمل می‌زند. مزایا: برنامه‌ریزی کند در ابعاد VLM، جلوی کنترل سریع را نمی‌گیرد؛ سامانه‌ی 1 هم برای پایین نگه‌داشتن تاخیر (latency)، کوچک می‌ماند.
مدل GR00T N1.7 (اواخر 2025) مقیاس‌پذیری داده را بهبود می‌دهد. مدل GR00T با دادههای شبیه‌ساز به واقعیت (sim-to-real) از پلتفرم Omniverse فاین‌تیون میشود.
مجموعه‌داده‌ی Open X-Embodiment
دادههای آموزشی. پروژه‌ی RT-X (اکتبر 2023) توانست 22 دیتاست شامل 1M مسیر حرکتی را از 22 ربات مختلف گردآوری کند. مجموعه‌ی Open X-Embodiment همان داده‌ای است که همه به سراغش می‌روند:
- پلتفرم‌های ALOHA / Bridge V2 / Droid / RT-2 Kitchen / Language Table.
- هر نمونه شامل: (وضعیت ربات، زاویه‌های دید دوربین، دستور، توالی اکشن).
- انضباط آموزشی: یکسان‌سازی فضای اکشن، نرمال‌سازی دامنه‌ی مفاصل و تغییر اندازه‌ی تصاویر دوربین‌ها.
مدلهای OpenVLA و π0 روی Open X-Embodiment آموزش می‌بینند. شکاف دامنه‌ای برای هر ربات خاص با فاینتیونینگ به کمک LoRA روی 100 تا 1000 نمونه‌ی نمایشی وظیفه‌محور پر میشود.
فاینتیونینگ همزمان در برابر آموزش فقط با دادههای ربات
فاینتیونینگ همزمان، دادههای VQA وب را با مسیرهای حرکتی ربات درهم می‌آمیزد. نسبت این ترکیب حیاتی است: دادهی VQA بیش از حد باعث فراموشی اکشنها میشود؛ دادهی رباتی بیش از حد هم دانش عمومی مدل را از بین می‌برد.
نسبت ترکیب در RT-2 حدود 1:1 بود. در OpenVLA حدود 0.5:1 دادهی وب به ربات است. مدل π0 نیز نسبت مشابهی دارد. این نسبت دقیق، هایپرپارامتری است که باید متناسب با حجم دیتاست تنظیم شود.
آموزشِ صرف با دادههای ربات مدل‌هایی تک‌منظوره می‌سازد که با خروج جزئی دستورات از توزیع دادههای آموزش، شکست می‌خورند. فاینتیونینگ همزمان عامل اصلی تفاوت میان اجرای «مکعب قرمز را بردار (دیده‌شده در دادههای نمایشی)» و «سومین جسم بزرگ‌تر از سمت چپ را بردار (جمله‌بندی جدید)» است.
ایمنی و محدودیت‌های اکشن
تمام مدلهای VLA در محیط واقعی با سازوکارهای زیر کار می‌کنند:
- محدودیت‌های سخت مفاصل (جلوگیری از وارد کردن گشتاور فراتر از مشخصات مجاز).
- محدودیت‌های سرعت (برش نرم مقادیر یا soft clipping).
- محدوده‌های فضای کاری (جلوگیری از خروج مجری نهایی از سطح میز).
- تایید ناظر انسانی (human-in-the-loop) برای کارهای ناآشنا.
این تدابیر بیرون از مدل VLA و در قالب بررسی‌هایی در لایه‌ی کنترل اعمال می‌شوند. خروجی مدل VLA یک پیشنهاد است، نه فرمانی قطعی.
استفاده از ابزارهای واقعی
در فایل code/main.py:
- توکن‌سازی اکشن در 256 بازه و دی‌توکنایز کردن آن پیاده‌سازی شده است.
- یک توکنایزر FAST بر پایه‌ی DCT و کوانتایزیشن پیاده شده است.
- تعداد توکن‌ها به ازای هر گام اکشن میان رویکردهای مختلف (بازه‌های گسسته، FAST و جریان پیوسته) مقایسه میشود.
- خلاصه‌ای از روند تکامل RT-2 ← OpenVLA ← π0 ← GR00T چاپ میشود.
خروجی این درس
این درس فایل outputs/skill-vla-action-format-picker.md را تولید میکند. با مشخص شدن کار ربات (دست‌کاری اشیا، ناوبری، کنترل تمام‌بدن ربات انسان‌نما)، این فایل فرمت مناسب اکشن را از میان بازه‌های گسسته + RT-2، توکنایزر FAST + OpenVLA، تطبیق جریان + π0 یا سیستم دوگانه + GR00T انتخاب میکند.
تمرین‌ها
-
یک بازوی 10 درجه آزادی را با نرخ کنترل 30 Hz در نظر بگیرید. توکن‌سازی با 256 بازهی گسسته چه تعداد توکن در ثانیه تولید میکند؟ آیا یک VLM با 7B پارامتر توان همراهی با این نرخ را دارد؟
-
توکن‌سازی FAST مسیرهای 30 گامی را به حدود 10 توکن فشرده میکند. اگر مسیر حرکتی دارای حرکات فرکانس‌بالا باشد (مثلاً طبل زدن)، کاربر چه چیزی را از دست می‌دهد؟
-
سر تطبیق جریان در مدل π0 فرایند نویززدایی را در حدود 5 گام انجام می‌دهد. نرخ پردازش (throughput) آن را با دیکود خودبازگشتی OpenVLA در فرکانس 4 تا 5 Hz مقایسه کنید.
-
تفکیک سامانه‌ی 1 و سامانه‌ی 2 در مدل GR00T از نظریه‌ی کانمن الهام گرفته شده است. ساختار تفکیک دیگری پیشنهاد دهید (شاید سامانه‌ی 3؟) که بتواند به راه رفتن ربات‌های دوپا کمک کند.
-
بخش 4 مقاله‌ی Open X-Embodiment درباره‌ی آماده‌سازی دیتاست را بخوانید. سه قاعده‌ی پالایش داده را که مانع از نشت دامنه (domain leakage) می‌شوند نام ببرید.
اصطلاحات کلیدی
| اصطلاح | در گفتار روزمره | معنای دقیق فنی |
|---|---|---|
| VLA | «مدل بینایی-زبان-اکشن» | مدلی که تصویر و دستور را می‌گیرد و فرامین اکشن را تولید میکند |
| توکن‌سازی اکشن (Action tokenization) | «بازه‌های گسسته» | کوانتایز کردن اهداف پیوسته‌ی مفاصل به 256 بازه در هر بُعد، که هر کدام یک شناسه در دایره‌ی واژگان هستند |
| توکنایزر FAST | «توکن‌های فرکانسی اکشن» | تبدیل DCT + کوانتایزیشن برای فشرده‌سازی مسیرهای 30 گامی به حدود 10 توکن |
| فاینتیونینگ همزمان (Co-fine-tune) | «ترکیب دادهی وب و ربات» | آموزش همزمان روی دادههای VQA وب در کنار نمونه‌های ربات برای حفظ دانش عمومی |
| سر اکشن تطبیق جریان (Flow-matching action head) | «خروجی پیوسته‌ی π0» | ترنسفورمر کوچکی که یک توالی اکشن 50 گامی را با جریان تصحیح‌شده خروجی می‌دهد |
| سامانه 1 / سامانه 2 (System 1 / System 2) | «کنترل دو سامانه‌ای» | ترنسفورمر بزرگ VLM با سرعت کم برنامه‌ریزی میکند و سر اکشن کوچک با سرعت بالا دست به عمل می‌زند؛ الگوی معماری GR00T |
| دیتاست Open X-Embodiment | «دیتاست RT-X» | مجموعه‌داده‌ی مرجع شامل 1M مسیر حرکتی روی ربات‌های گوناگون که به عنوان دادههای پایه آموزش داده میشود |