MHRGait: 모멘텀 휴먼 리그 자세를 이용한 보행 인식

MHRGait: Gait Recognition from Momentum Human Rig Pose

보행 인식은 입력 표현 방식에 크게 의존합니다. 실루엣은 투영된 신체 형태를, 골격은 희소한 관절 좌표를, 3D 메시로는 밀집된 표면 형상을 나타냅니다. 각 경우에서, 신분 정보를 담고 있는 움직임이 관찰되지만, 이는 옷차림, 골격 크기 또는 신체 형태에 따라 달라질 수 있습니다. 본 연구에서는 보행을 간결한 관절 제어를 통해 인식할 수 있는지 조사합니다. 단일 카메라 영상으로부터 추정된 184개의 의미론적으로 구성된 신체 및 손 파라미터로 각 프레임을 설명하는 모멘텀 휴먼 리그(MHR) 자세를 보행 표현으로 도입했습니다. MHRGait는 이러한 다양한 제어 정보를 해부학적 구조에 따라 그룹화하고, 프레임 내에서의 조정과 시간적인 변화를 모델링하여 간결한 신체 및 손 특징을 생성합니다. 또한, MHRGait++는 MHR 자세와 실루엣을 모달리티 균형 거리 융합을 통해 결합하여, 특징 개수가 모달리티 중요도를 결정하는 것을 방지합니다. 네 가지 벤치마크에서 수행한 실험 결과, MHRGait는 CCPG 및 SUSTech1K 데이터셋에서 비교 대상 모델 기반 방법 중 가장 우수한 전반적인 성능을 보였으며, 데이터셋 간에 효과적으로 적용 가능했습니다. 또한, MHRGait의 인식 네트워크는 30프레임 입력 시 2.76M개의 파라미터와 0.69 GFLOPs만을 사용합니다. MHRGait++는 일관되게 실루엣 인식을 개선하며, 정확도와 효율성 간의 유리한 균형을 제공합니다. 이러한 결과는 관절 공간에서의 움직임을 효과적인 독립적인 보행 표현 방식으로 확립하고, 투영된 신체 형태에 대한 상호 보완적인 단서로 제시합니다. 저희 코드는 https://github.com/duanhuiran/MHRGait 에서 확인할 수 있습니다.

Gait recognition is shaped by its input representation. Silhouettes encode projected body shape, skeletons encode sparse joint coordinates, and 3D meshes encode dense surface geometry. In each case, identity-bearing articulation is observed through geometric carriers that also vary with clothing, skeletal scale, or body shape. We investigate whether gait can instead be recognized from compact articulated controls. We introduce Momentum Human Rig (MHR) pose as a gait representation, describing each frame using 184 semantically organized body and hand parameters estimated from monocular video. MHRGait groups these heterogeneous controls by anatomy, models their intra-frame coordination and temporal evolution, and produces compact body and hand descriptors. We further introduce MHRGait++, which combines MHR pose with silhouettes through modality-balanced distance fusion, preventing descriptor count from determining modality importance. Experiments on four benchmarks show that MHRGait attains the best overall performance among compared model-based methods on CCPG and SUSTech1K and transfers effectively across datasets, while its recognition network requires only 2.76M parameters and 0.69 GFLOPs for a 30-frame input. MHRGait++ consistently improves silhouette recognizers with a favorable accuracy-efficiency trade-off. These results establish rig-space articulation as an effective standalone gait representation and a complementary cue to projected body shape. Our code is available at https://github.com/duanhuiran/MHRGait.