O-VAD: 객체 중심 추적 및 추론을 통한 산업용 비디오 이상 감지

O-VAD: Industrial Video Anomaly Detection through Object-Centric Tracking and Reasoning

산업용 비디오 이상 감지(IVAD)는 현대 제조 및 품질 관리 시스템에서 중요한 역할을 하는, 산업 공정 내의 이상적인 객체와 이벤트를 식별하는 것을 목표로 합니다. 기존의 VLM 기반 이상 추론 방법은 일반 영역에서 광범위한 이상을 탐지할 수 있지만, 복잡한 객체의 변형, 엄격한 물리 법칙 및 절차적 제약이 존재하는 산업 환경에서는 성능이 저하됩니다. 이러한 상호 작용이 빈번하게 발생하는 복잡한 감지를 해결하기 위해, 우리는 도메인 특유의 지식 없이 이상을 탐지하는 훈련이 필요 없는 에이전트 기반 프레임워크를 소개합니다. 이 방법은 인간 검사자와 유사하게, 객체의 상태 변화에 중점을 둡니다. 이는 시간에 따른 감지된 객체의 공간-시간적 역학 및 기본 변형을 추적하고, 객체별 시간 상태 경로를 분석하여 특정 프레임에서 이상적인 객체를 식별하도록 설계되었습니다. 우리의 방법은 기존 접근 방식의 한계를 극복하며, 이러한 기존 방식은 정상 비디오 클립에 대한 재훈련이나 테스트 시 추론을 위한 도메인 지식 주입에 의존합니다. 세 개의 IVAD 데이터셋에 대한 광범위한 실험 결과는 우리 방법이 최첨단 VLM, 에이전트 기반 프레임워크 및 해당 데이터셋에 대해 미세 조정된 기존의 VAD 방법보다 우수하며, 동시에 이상 현상 과정 및 유형에 대한 해석 가능한 보고서를 제공한다는 것을 보여줍니다.

Industrial Video Anomaly Detection (IVAD) aims to identify anomalous objects and events in an industrial process, which is crucial for modern manufacturing and quality control systems. Existing VLM-based anomaly reasoning methods are capable of detecting open-ended anomalies in general domains. However, their performance declines in industrial settings characterized by intricate object transformations, strict physics, and procedural constraints. To tackle the complexity of such interaction-intensive detection, we introduce a training-free agentic framework for anomaly detection free of domain-specific knowledge, emphasizing object state evolution like humans inspectors. It is designed to track spatial-temporal dynamics and underlying transformations of detected objects over time, and then reason over the object-wise temporal state trajectories to identify abnormal objects in grounded frames. Our method overcomes limitations of prior approaches that rely on retraining on normal clips or injecting domain knowledge as context for test-time inference. Extensive experiments on three IVAD datasets demonstrate that our method outperforms frontier VLMs, agentic frameworks, and traditional VAD methods fine-tuned on the respective datasets, while providing interpretable reports over anomaly processes and types.