텔리오핏(Teleopit): 완전한 신체 구현 휴머노이드 원격 조작 시스템

Teleopit: A Full-Embodiment Humanoid Teleoperation System

휴머노이드의 동작 데이터 수집을 위한 원격 조작은 전체 신체의 움직임, 연속적인 정밀 손 제어 및 시야 제어를 필요로 합니다. 기존 시스템들은 손 제어를 단순화하거나, 미세한 손 운동을 위해 특수한 웨어러블 센서에 의존하는 경우가 많습니다. 본 논문에서는 텔리오핏(Teleopit)이라는 완전한 신체 구현 원격 조작 시스템을 소개합니다. 이 시스템은 VR에서 입력받는 신체를, 휴머노이드 몸체, 다양한 형태의 정밀 손, 그리고 2-DoF 능동 시각 모듈로 연결합니다. 히스토리 인코더와 오류 감지 기반 재시작 샘플링 기법이 모션 트래킹 성능을 향상시키며, 이는 모션 캡처 및 실시간 VR 환경 모두에서 적용 가능합니다. 최적화 기반 손 제어기는 정규화된 손가락 방향, 손끝 접촉 및 엄지 위치를 결합하여, 휴먼의 손 움직임을 특정 형태의 정밀 손에 매핑하는 데 사용되며, 이때는 각 손의 특성에 맞는 객관 함수나 솔버 파라미터를 조정할 필요가 없습니다. 각 구성 요소별 실험을 통해 트래킹 성공률과 재매핑 동작을 평가하였으며, 실제 로봇을 이용한 원격 조작 실험에서는 통합적인 이동, 조작 및 시야 제어를 가능함을 확인했습니다. 텔리오핏으로 수집된 96개의 성공적인 동작 데이터를 기반으로 학습된 ACT 및 GR00T N1.7 정책은 휴머노이드에 적용했을 때 각각 90.0%와 95.0%의 작업 성공률을 달성했습니다. 프로젝트 페이지는 https://botrunner64.github.io/teleopit-page 에서 확인할 수 있습니다.

Humanoid teleoperation for demonstration collection requires coordinated whole-body motion, continuous dexterous hand control, and viewpoint control. Existing systems either simplify hand commands or depend on dedicated wearable sensors for fine-grained hand motion. We introduce Teleopit, a full-embodiment teleoperation system that maps body, hand, and head signals from VR to a humanoid body, configurable dexterous hands, and a 2-DoF active vision module. A history encoder and failure-aware rewind sampling improve the motion tracker on both motion-capture and live VR references. An optimization-based hand retargeter combines normalized finger directions, fingertip closure, and thumb-frame alignment to map human hand motion to different dexterous hands without tuning hand-specific objective or solver hyperparameters. Component experiments evaluate tracking success rate and retargeting behavior, while real-robot teleoperation demonstrates coordinated locomotion, manipulation, and viewpoint control. ACT and GR00T N1.7 policies trained on 96 successful demonstrations collected with Teleopit achieve task success rates of 90.0% and 95.0%, respectively, when deployed on the humanoid. The project page is available at https://botrunner64.github.io/teleopit-page.