실천이 정책을 만든다: 인간 시연 없이 로봇 능력을 초기화하고 통합하는 방법

Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations

범용 로봇 조작은 로봇이 다양한 작업을 수행하며, 시간이 지남에 따라 자신의 기술을 향상시키는 것을 의미합니다. 최근 로봇 조작 분야에서 상당한 발전이 있었지만, 기존 시스템들은 여전히 주로 정적인 방식으로 조작 능력을 획득합니다. 즉, 특정 작업이나 환경에 대한 능력이 학습되지만, 물리적 상호 작용을 통해 적응적으로 진화하지 않습니다. 반복적인 연습을 통해 인간이 근육 기억을 형성하는 것처럼, 고급 조작 능력은 로봇이 점진적으로 상호 작용 경험을 더욱 효과적인 조작 능력으로 변환할 수 있도록 하는 자율적인 능력 발전 메커니즘을 필요로 합니다. 이에 따라, 우리는 인간 시연 없이 자율적인 능력 발전을 가능하게 하는 자기 개선형 계층 구조의 통합 에이전트인 HERO를 제안합니다. HERO는 휴리스틱 추론, 예제 재사용 및 반사적 실행을 하나의 통일된 프레임워크로 구성하여 로봇이 자율적으로 조작 경험을 구축하고, 경험 전송을 통해 재사용 가능한 행동을 빠르게 축적하며, 반복적인 상호 작용을 효율적인 폐루프 시각-운동 정책으로 점진적으로 통합할 수 있도록 합니다. HERO는 자율적인 데이터 수집과 작업 실행을 긴밀하게 결합하여 로봇이 다양한 단계의 경험 축적 및 실행 요구 사항에 따라 조작 능력을 지속적으로 확장하고 동적으로 조정합니다. 광범위한 실험 결과는 HERO가 로봇 데이터 수집 과정에서 인간의 개입을 크게 줄이는 동시에, 다양한 작업에서 강력한 조작 성능을 달성하며, 자기 개선형 로봇 시스템으로 나아가는 유망한 경로를 제시한다는 것을 보여줍니다.

General-purpose robotic manipulation requires robots to perform diverse tasks in open-world environments while improving their skills over time. Despite recent progress in robotic manipulation, existing systems still primarily acquire manipulation skills in a static manner, where capabilities are learned for specific tasks or settings rather than adaptively evolving through physical interaction. Resembling how repeated practice enables humans to develop muscle memory, advanced manipulation proficiency requires an autonomous capability evolution mechanism that allows robots to progressively transform interaction experiences into increasingly effective manipulation abilities. To this end, we propose HERO, a self-improving hierarchical embodied agent that enables autonomous capability evolution from zero human demonstrations. HERO organizes heuristic reasoning, exemplar reuse, and reflexive execution into a unified orchestration framework, allowing robots to autonomously bootstrap manipulation experience, rapidly accumulate reusable behaviors through experience transfer, and progressively consolidate recurring interactions into efficient closed-loop visuomotor policies. By tightly coupling autonomous data collection with task execution, HERO continuously expands and dynamically schedules manipulation capabilities according to different stages of experience accumulation and execution requirements. Extensive experiments demonstrate that HERO substantially reduces human intervention during robotic data collection while achieving robust manipulation across diverse tasks, providing a promising path toward self-improving robotic systems.