Geometry OR Tracker: 범용 수술실 지오메트리 기반 추적 시스템

Geometry OR Tracker: Universal Geometric Operating Room Tracking

수술실(OR) 환경에서, 세계 규모의 다중 시점 3차원 추적은 외과의의 행동 인식과 같은 후속 응용 분야를 지원하며, 거리와 운동 통계와 같은 물리적으로 의미 있는 양을 미터 단위로 측정해야 합니다. 그러나 실제 임상 환경에서는 안정적인 다중 시점 융합 및 추적을 위한 기하학적 요구 사항이 거의 충족되지 않습니다. 카메라 보정 및 RGB-D 등록은 항상 신뢰할 수 없으며, 이는 시야 간 기하학적 불일치를 야기하여 융합 과정에서 "유령 현상"을 발생시키고 공유된 수술실 좌표계에서 3차원 궤적을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Geometry OR Tracker라는 두 단계 파이프라인을 제안합니다. 이 파이프라인은 먼저 Multi-view Metric Geometry Rectification 모듈을 사용하여 부정확한 보정을 단일의 전역 스케일을 갖는 스케일 일관적이고 기하학적으로 일관된 카메라 설정으로 보정하고, 그 다음에는 Occlusion-Robust 3D Point Tracking을 통합된 수술실 세계 좌표계에서 직접 수행합니다. MM-OR 벤치마크에서, 개선된 기하학적 일관성은 추적 성능 향상으로 이어집니다. 본 연구에서 제안하는 보정 모듈은 원시 보정 데이터와 비교하여 시야 간 깊이 불일치를 30배 이상 감소시킵니다. 추가적인 분석을 통해, 보정 품질과 추적 정확성 간의 관계를 입증했으며, 개선된 기하학적 일관성이 더욱 강력한 세계 좌표계 추적 성능을 제공한다는 것을 보여줍니다.

In operating rooms (OR), world-scale multi-view 3D tracking supports downstream applications such as surgeon behavior recognition, where physically meaningful quantities such as distances and motion statistics must be measured in meters. However, real clinical deployments rarely satisfy the geometric prerequisites for stable multi-view fusion and tracking: camera calibration and RGB-D registration are always unreliable, leading to cross-view geometric inconsistency that produces "ghosting" during fusion and degrades 3D trajectories in a shared OR coordinate frame. To address this, we introduce Geometry OR Tracker, a two-stage pipeline that first rectifies imprecise calibration into a scaleconsistent and geometrically consistent camera setup with a single global scale via a Multi-view Metric Geometry Rectification module, and then performs Occlusion-Robust 3D Point Tracking directly in the unified OR world frame. On the MM-OR benchmark, improved geometric consistency translates into tracking gains: our rectification front-end reduces cross-view depth disagreement by more than 30$\times$ compared to raw calibration. Ablation studies further demonstrate the relationship between calibration quality and tracking accuracy, showing that improved geometric consistency yields stronger world-frame tracking.