Cortex: 장기 조작을 위한 양방향 연동 임베디드 에이전트 프레임워크

Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation

최근의 비전-언어-행동(VLA) 모델은 일반적인 조작 정책 개발에 유망한 가능성을 보여주지만, 현재 관찰 정보에만 의존하는 마르코프 특성으로 인해 장기적인 작업 수행에 어려움을 겪습니다. 계층적 이중 시스템 방법은 이러한 문제를 해결하려 하지만, 고수준 계획 의미와 저수준 실행 역학 사이의 간극이라는 단점이 있습니다. 본 논문에서는 실행 가능하고 추론 가능한 하위 작업 계획을 고수준 VLM으로부터 저수준 VLA로 전달하는 맞춤형 계획 인터페이스를 갖춘 양방향 연동 임베디드 에이전트 프레임워크인 Cortex를 소개합니다. 구체적으로, 우리는 조작 하위 작업을 32개의 표준 기술 원시 요소로 정의하고, 대표적인 객체 속성 및 향상된 경로 도달 가능성과 같은 추론 가능성을 데이터 생성 파이프라인에 주입했습니다. 이를 통해 오픈 소스 비디오 데이터를 4000시간 이상 자동으로 어노테이션하고 시뮬레이션 데이터를 30시간 이상 생성할 수 있었습니다. 또한, 하위 작업 전환 과정에서 발생하는 계획의 모호성을 보다 효과적으로 처리하기 위해 이벤트 균형 샘플링 전략을 사용하여 학습 데이터를 구성했습니다. 추론 과정에서 신중하게 설계된 지지 시스템 엔지니어링을 통해 작업 컨텍스트와 기술 제약을 연결합니다. 개방 루프 VLM 및 폐쇄 루프 시스템 평가 모두 Cortex의 효과를 입증하며, 예를 들어 Libero-long 데이터셋에서 3.1%, RoboTwin 데이터셋에서 4.1% 더 우수한 성능을 보였습니다. 특히, Cortex의 일반화된 VLM은 미세 조정된 VLA와 결합하여 멀티 스테이지 화학 실험과 같은 새로운 실제 장기 작업에 대해 사전 학습 없이(zero-shot) 수행할 수 있으며, 이는 VLA 미세 조정만으로는 불가능한 기능입니다.

While recent Vision-Language-Action (VLA) models show promise toward generalist manipulation policies, they struggle with long-horizon tasks due to their Markovian nature-relying solely on current observations. Hierarchical dual-system methods address this but suffer from a gap between high-level planning semantics and low-level execution kinematics. We introduce Cortex, a bidirectionally aligned embodied agent framework with a customized planning interface that conveys executable and tractable subtask plans from high-level VLM to low-level VLA. Specifically, we standardize manipulation subtasks into 32 canonical skill primitives and inject tractability principles, such as representative object attributes and improved trajectory reachability, into the data generation pipeline. This enables automatic annotation of over 4k hours of open-source video data and generation of 30 hours of simulation data. We further devise an event-balanced sampling strategy to construct training data for fine-tuning the framework to better handle planning ambiguity during subtask transitions, enhanced by carefully designed harness engineering from task contexts to skill constraints during inference. Both open-loop VLM and closed-loop system evaluations demonstrate Cortex's efficacy, e.g., it outperforms monolithic baselines by 3.1% on Libero-long and 4.1% on RoboTwin. Notably, Cortex's generalist VLM enables zero-shot completion of unseen real-world long-horizon tasks, such as multi-stage chemistry experiments, by simply combining with a fine-tuned VLA-a capability infeasible through VLA fine-tuning alone.