로보날도: 모션 기반 커리큘럼 강화 학습을 통한 정확하고 안정적인 인형 로봇 축구 슈팅

RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning

최고 수준의 인형 로봇 축구 슈팅은 전신 안정성, 높은 충격량의 전신 상호작용, 그리고 목표 정확도를 요구합니다. 모션 추적 기반 강화 학습(RL)은 전신 움직임 조절에 안정성을 제공하지만, 고정된 참조값 때문에 다양한 볼 위치와 스트라이크 타이밍에 적응하기 어렵습니다. 반면, 작업 보상 기반 RL은 초기 단계에서 유효한 킥을 탐색하고 발견하는 데 어려움을 겪습니다. 따라서 우리는 고충격 인형 로봇 상호작용을 위한 세 단계의 모션 기반 커리큘럼 강화 학습 프레임워크인 RoboNaldo를 소개합니다. 단일 인간 킥 참조값을 활용하여 점진적으로 최적화를 슈팅 성능으로 전환합니다. 먼저, 안정적인 전신 킥 기본 동작을 학습하고, 그 다음 무정위 위치에 고정된 볼이 있는 프리킥 환경에 적응시키며, 마지막으로 로커모션 명령과 킥 트리거 인터페이스를 통해 움직이는 볼 슈팅으로 확장합니다. 상위 레벨 휴리스틱 플래너가 학습 중에 이 인터페이스를 제어하며, 다른 상위 레벨 컨트롤러는 동일한 하위 레벨 정책을 추론 단계에서 사용할 수 있습니다. 시뮬레이션 환경에서 RoboNaldo는 기존 연구의 기준보다 프리킥 샷 오류를 48.6% 줄이고 슈팅 속도를 2.96배 향상시켰습니다. 실제 Unitree G1 로봇에 탑재된 인지 시스템을 사용하여 테스트한 결과, RoboNaldo는 3m 거리에서 프리킥 및 움직이는 볼 슈팅 시 각각 평균 0.73m 및 0.86m의 목표 오차를 보였습니다. 또한, 접촉 후 공의 속도는 13.10 m/s에 도달하여 보고된 프로 선수들의 일반적인 슈팅 속도의 59-71% 수준입니다. 프로젝트 페이지: $\href{https://opendrivelab.com/RoboNaldo}{\text{opendrivelab.com/RoboNaldo}}$.

Elite humanoid soccer shooting requires whole-body stability, high-impulse whole-body interactions, and accuracy to targets. Motion tracking-driven reinforcement learning (RL) provides stability in whole-body movement coordination, but a fixed reference makes it hard to adapt to varied ball positions and strike timings; in contrast, task reward-driven RL struggles to explore and discover valid kicks from scratch. We therefore introduce RoboNaldo, a three-stage motion-guided curriculum RL framework for high-impulse humanoid interaction. A single human-kick reference is used as a scaffold and progressively shifts optimization towards shooting performance. The curriculum first learns a stable whole-body kicking prior, then adapts the kick to free-kick settings where the ball is stationary at random positions, and finally extends it to moving-ball shooting through a locomotion-command and kick-trigger interface. A high-level heuristic planner controls this interface during training, while alternative high-level controllers can drive the same low-level policy at inference. In simulation, RoboNaldo demonstrates free-kick shot error 48.6% lower and shoot velocity 2.96x than prior work baselines. In real world on a Unitree G1 with onboard perception, RoboNaldo attains 0.73 m and 0.86 m average target shooting error from 3 m away in free-kick and moving-ball cases, accordingly. And the post-contact ball velocity reaches 13.10 m/s, which is 59-71% of reported professional open-play shot speed. Project page: $\href{https://opendrivelab.com/RoboNaldo}{\text{opendrivelab.com/RoboNaldo}}$.