RoSHI: 다양한 로봇 응용을 위한 다재다능한 로봇 지향형 슈트 - 실제 환경에서의 인간 데이터 수집

RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild

로봇 학습의 확장은 실제 환경에서 풍부하고 장기적인 상호 작용을 포함하는 인간 데이터의 확보를 필요로 할 가능성이 높습니다. 기존의 데이터 수집 방법은 휴대성, 가려짐에 대한 강건성, 그리고 전역 일관성 간의 균형을 맞추는 데 어려움을 겪습니다. 본 논문에서는 RoSHI를 소개합니다. RoSHI는 저렴한 센서를 사용한 시스템으로, Project Aria 글래스와 함께 사용되어 착용자의 3차원 자세와 몸 형태를 시점 기반으로 추정하며, 이를 전역 좌표계에 매핑합니다. 이 시스템은 두 센서의 상호 보완적인 특성에 기반합니다. IMU는 가려짐과 고속 움직임에 대한 강건성을 제공하고, 시점 기반 SLAM은 장기적인 움직임을 추적하고 상체 자세를 안정화합니다. RoSHI의 성능을 평가하기 위해 다양한 활동 데이터를 수집했습니다. 수집된 데이터셋에서 RoSHI는 다른 시점 기반 시스템보다 일반적으로 우수한 성능을 보였으며, 최첨단 외점 기반 시스템(SAM3D)과 유사한 성능을 나타냈습니다. 마지막으로, 본 시스템에서 기록된 동작 데이터가 실제 환경에서의 휴머노이드 로봇 정책 학습에 적합함을 보여줍니다. 동영상, 데이터 및 자세한 내용은 프로젝트 웹사이트(https://roshi-mocap.github.io/)를 방문하십시오.

Scaling up robot learning will likely require human data containing rich and long-horizon interactions in the wild. Existing approaches for collecting such data trade off portability, robustness to occlusion, and global consistency. We introduce RoSHI, a hybrid wearable that fuses low-cost sparse IMUs with the Project Aria glasses to estimate the full 3D pose and body shape of the wearer in a metric global coordinate frame from egocentric perception. This system is motivated by the complementarity of the two sensors: IMUs provide robustness to occlusions and high-speed motions, while egocentric SLAM anchors long-horizon motion and stabilizes upper body pose. We collect a dataset of agile activities to evaluate RoSHI. On this dataset, we generally outperform other egocentric baselines and perform comparably to a state-of-the-art exocentric baseline (SAM3D). Finally, we demonstrate that the motion data recorded from our system are suitable for real-world humanoid policy learning. For videos, data and more, visit the project webpage: https://roshi-mocap.github.io/