순차적 가설 검증을 통한 객체 추적 실패 감지

Detecting Object Tracking Failure via Sequential Hypothesis Testing

비디오 내 객체 추적은 컴퓨터 비전 분야의 핵심 과제이며, 영상 감시, 모션 캡처, 로봇 공학 등 다양한 분야에 응용됩니다. 현재 사용되는 추적 시스템은 추적이 얼마나 신뢰할 수 있는지, 그리고 언제 실패할 수 있는지에 대한 공식적인 안전성 보장을 제공하지 못하며, 최악의 경우 모델의 신뢰도에 대한 휴리스틱한 지표를 사용하여 경고를 발생시킵니다. 본 연구에서는 객체 추적을 순차적 가설 검증 문제로 해석하여, 추적 실패에 대한 증거를 시간이 지남에 따라 점진적으로 축적하는 방식을 제안합니다. 최근 연구 동향을 활용하여, 제안하는 순차적 검정(e-process로 형식화됨)은 추적 실패가 발생하기 전에 신속하게 이를 식별하며, 동시에 허위 경고 발생률을 원하는 수준으로 제한하여 잠재적으로 비용이 많이 드는 재보정 또는 개입 단계를 줄일 수 있습니다. 제안하는 방법은 계산적으로 가볍고, 추가적인 훈련이나 미세 조정이 필요 없으며, 원칙적으로 모델에 독립적입니다. 본 연구에서는 ground-truth 데이터 또는 내부 추적 정보만을 활용하여 지도 학습 및 비지도 학습 방식 모두를 제안하며, 두 가지 기존 추적 모델을 사용하여 네 가지 비디오 벤치마크에서 그 효과를 입증했습니다. 이러한 순차적 검정은 실시간 추적 시스템에 안전성 보장을 통합하는 데 있어 통계적으로 타당하고 효율적인 메커니즘을 제공할 수 있습니다.

Real-time online object tracking in videos constitutes a core task in computer vision, with wide-ranging applications including video surveillance, motion capture, and robotics. Deployed tracking systems usually lack formal safety assurances to convey when tracking is reliable and when it may fail, at best relying on heuristic measures of model confidence to raise alerts. To obtain such assurances we propose interpreting object tracking as a sequential hypothesis test, wherein evidence for or against tracking failures is gradually accumulated over time. Leveraging recent advancements in the field, our sequential test (formalized as an e-process) quickly identifies when tracking failures set in whilst provably containing false alerts at a desired rate, and thus limiting potentially costly re-calibration or intervention steps. The approach is computationally light-weight, requires no extra training or fine-tuning, and is in principle model-agnostic. We propose both supervised and unsupervised variants by leveraging either ground-truth or solely internal tracking information, and demonstrate its effectiveness for two established tracking models across four video benchmarks. As such, sequential testing can offer a statistically grounded and efficient mechanism to incorporate safety assurances into real-time tracking systems.