HumanTracker: 포괄적이고 인간의 인식을 반영하는 모션 추적 벤치마크 개발

HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark

인간형 로봇의 움직임 추적은 원격 조작 및 전체 동작 모방에 필수적이지만, 평가 방법이 종종 비디오에서 사람이 인식하는 것과 일치하지 않습니다. 기존의 운동학적 오류 측정 방식은 프레임별 자세 차이를 평균화하여 중요한 물리적인 문제점들을 놓치는 경우가 많습니다. 특히 불안정한 지지 상태나 부적절한 접촉(예: 발 미끄러짐, 부정확한 접촉 시점)과 같은 현상들이 간과될 수 있습니다. 또한, 널리 사용되는 테스트 스위트는 규모가 작고, 복잡하고 지속적인 동작을 평가하기에 필요한 다양성이 부족합니다. 본 논문에서는 인간의 인식과 일치하며 확장 가능한 인간형 로봇 추적 평가를 위한 HumanTracker를 제안합니다. HumanTracker 벤치마크는 여러 전문 연기자의 약 153시간 분량의 광학 모션 데이터를 포함하며, 세부적인 분석을 위한 텍스트 라벨이 추가된 네 가지 동작 유형으로 구성되어 있습니다. 또한, 12,000개의 동작 쌍(총 24,000개)으로 학습된 선호도 기반 평가 지표인 HumanScore를 제안합니다. 실험 결과, HumanScore는 기존 운동학적 지표보다 인간의 선호도를 더 잘 예측하며, 운동학적 지표가 놓치는 접촉 및 안정성 문제를 더 정확하게 파악합니다.

Humanoid motion tracking is central to teleoperation and whole-body imitation, yet evaluation often disagrees with what people perceive in videos. Kinematic errors average per-frame pose differences but miss the physical artifacts that matter most, particularly unstable support and incorrect contacts such as foot skating and mistimed touch-downs. Meanwhile, widely used test suites are small and lack the diversity needed to stress contact-rich, long-horizon behaviors. We introduce HumanTracker to make humanoid tracking evaluation both perceptually aligned and scalable. The HumanTracker benchmark contains approximately 153 hours of optical motion trajectories from multiple professional performers, organized into four motion families with text labels for fine-grained diagnosis. We further propose HumanScore, a preference-aligned metric trained on 12K motion pairs containing 24K motions. Across representative state-of-the-art trackers, HumanScore better predicts human preferences and reveals contact and stability failures that kinematic metrics often miss.