PFM-HR: 휴머노이드 로봇을 위한 자세 흐름 매칭

PFM-HR: Pose Flow Matching for Humanoid Robots

모션 사전 지식은 물리 기반 휴머노이드 추적에서 강화 학습 성능을 향상시키지만, 시간적 제약은 정렬된 모션 클립을 요구하며, 자세 사전 지식은 정책에 의해 유도되는 자세 변화에 제한적인 가이드를 제공합니다. 본 논문에서는 대규모의 비정형 자세 데이터로 직접 훈련된 재사용 가능한 흐름 매칭 사전 지식인 Pose Flow Matching for Humanoid Robots (PFM-HR)을 제안합니다. PFM-HR은 '자세 기하학 점수(Pose Geometry Score, PGS)'를 도입하여, 추적 과정에서 관절 좌표 변화가 사전 지식이 포착한 지역적인 자세 변동의 기하학적 구조와 얼마나 일치하는지를 정량화합니다. PGS를 사용하여 추적 보상을 조절함으로써, 정책 탐색을 통해 체계적인 자세 변화를 유도하고 동시에 추적 작업 전반에 걸쳐 사전 지식을 고정적으로 유지합니다. 실험 결과는 PFM-HR이 단일 모션 및 일반적인 모션 추적 성능을 모두 향상시키며, 특히 동적인 모션 추적에서 뛰어난 효과를 보이는 것을 보여줍니다.

Motion priors improve reinforcement learning for physics-based humanoid tracking, but temporal priors require ordered motion clips, while pose priors provide limited guidance for policy-induced pose transitions. We present Pose Flow Matching for Humanoid Robots (PFM-HR), a reusable flow matching prior trained directly on large scale unordered pose data. PFM-HR introduces the Pose Geometry Score (PGS), which quantifies how joint coordinate changes during rollouts align with the local geometry of pose variation captured by the prior. Using PGS to modulate the tracking reward guides policy exploration toward structured pose changes while keeping the prior frozen across tracking tasks. Experiments demonstrate that PFM-HR improves both single motion and general motion tracking, especially for highly dynamic motions.