Sen-Cap: LiDAR와 카메라 통합을 통한 센서 유연성 및 노이즈 저항성을 갖춘 3차원 인간 동작 인식 시스템

Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration

본 논문에서는 LiDAR와 카메라로부터 다중 모드 데이터를 통합하여 3차원 인간 동작을 인식하는 Sen-Cap 프레임워크를 제안합니다. 다중 모드 센서는 단일 모드 센서보다 풍부한 정보를 제공하지만, 기존 방법은 여전히 두 가지 주요 문제점에 직면합니다. 첫째, 임의로 배치된 센서 간의 정렬/매칭은 일반적으로 명시적인 교정을 통해 처리되는데, 이는 시점 변화에 따른 오류를 발생시키고 배치를 고정되고 중복되는 형태로 제한합니다. 둘째, 기존 방법은 심각한 노이즈나 부분적인 센서 오류가 발생할 경우 성능이 저하되며, 이는 실제 환경에서 흔히 발생하는 현상입니다. 이러한 문제점을 해결하기 위해 Sen-Cap은 센서 간의 교정 없이 인간 중심 공간에서 로컬 자세와 형상을 복원하는 통합 방식의 동작 추정기를 도입하여 유연한 수의 센서를 지원합니다. 또한, 반복적인 개선을 통해 심각한 포인트 클라우드 노이즈에도 강인성을 유지하는 노이즈 저항 트래커를 사용합니다. 이러한 센서 유연성과 노이즈 저항성은 Sen-Cap을 실제 환경에 더욱 적합하게 만듭니다. 특히, 실시간으로 작동하며 Sen-Cap은 Human-M3 및 FreeMotion 데이터셋에서 주요 지표에서 최첨단 성능을 달성했으며, LiDARHuman26M 및 RELI11D 데이터셋에서도 뛰어난 성능을 보입니다. 이러한 유연성과 강인성의 조합은 스포츠 분석, 현장 로봇, 대규모 몰입형 환경과 같은 실제 시나리오에서의 동작 인식에 새로운 가능성을 열어줍니다.

We propose Sen-Cap, a Sensor-Flexible and Noise-Resilient 3D human motion Capture framework that integrates multi-modal data from LiDAR and camera. While multi-modal sensors provide richer information than single-modal sensors, existing approaches still suffer from two core challenges. First, multi-modal alignment/matching across arbitrarily deployed sensors is typically handled by explicit calibration, which propagates errors under changing viewpoints and in turn constrains deployment to fixed, highly overlapped layouts. Second, prior methods degrade under severe noise or partial sensor failures, which are common in real-world environments. To address these challenges, Sen-Cap introduces a Unified Across-Sensor Motion Estimator that reconstructs local pose and shape in a human-centric space without calibrations between sensors, supporting a flexible number of sensors, as well as a Noise-Resistant Trajectory Tracker that maintains robustness under severe point cloud noise through iterative refinement. These sensor-flexible and noise-resilient features make Sen-Cap more practical in real-world deployment. Notably, operating in real time, Sen-Cap achieves state-of-the-art performance on major metrics on Human-M3 and FreeMotion, as well as strong cross-domain performance on LiDARHuman26M and RELI11D. This combination of flexibility and robustness opens new opportunities for motion capture in real-world scenarios, e.g. sports analytics, field robotics, and large-scale immersive environments.