PADFormer: 자세에 구애받지 않는 희소 시야 이미지 기반 이상 탐지

PADFormer: Pose-agnostic Anomaly Detection from Sparse View Images

자세에 구애받지 않는 이상 탐지(Pose-Agnostic Anomaly Detection, PAD)는 여전히 어려운 문제이며, 이는 이상이 임의의 시점에서 나타날 수 있기 때문입니다. 기존 방법들은 복잡한 3차원 재구성에 의존하며, 이는 계산 비용이 많이 들고 광범위한 다중 시야 데이터를 필요로 합니다. 본 논문에서는 Vision Transformer (ViT)를 활용하여 쿼리 이미지의 이상 없는 버전을 직접 재구성하고 자세 정보를 유지하는 새로운 이미지 공간 접근 방식인 PADFormer를 제안합니다. 핵심 아이디어는 정상 데이터만을 사용하여 교차 시야 마스킹 재구성을 적용하여 이상 탐지를 수행하는 것입니다. 또한, 동적 패치 선택 및 공간 정렬 메커니즘을 통해 상당한 자세 변화가 있는 희소 참조 뷰에서 효과적인 학습을 가능하게 합니다. 추론 과정에서 다양한 마스킹 패턴으로 여러 번의 순전파를 수행하여 이상 없는 재구성 결과를 종합적으로 생성함으로써 쿼리 이미지 전체를 포괄적으로 분석합니다. PADFormer는 생성된 재구성 결과와 쿼리 이미지를 비교하여 이상을 탐지합니다. PADFormer는 기존 PAD 벤치마크에서 최첨단 성능을 달성했으며, 클래식 few-shot anomaly detection (FSAD) 작업에서도 유사한 성능을 유지하며, 3차원 재구성이 필요 없는 우수한 효율성과 일반화 능력을 보여줍니다.

Pose-agnostic Anomaly Detection (PAD) remains challenging as anomalies can appear under arbitrary viewpoints, requiring methods to handle significant pose variations. Existing approaches rely on complex 3D reconstruction, which are computationally expensive and require extensive multi-view data. We propose PADFormer, a novel image-space approach that leverages Vision Transformer (ViT) to directly reconstruct anomaly-free versions of query images while preserving pose information. Our key insight is to adapt cross-view masked reconstruction for anomaly detection through training exclusively on normal data, combined with dynamic patch selection and spatial alignment mechanisms that enable effective learning from sparse reference views under significant pose variations. During inference, we perform multiple forward passes with different masking patterns to generate an ensemble of anomaly-free reconstructions, ensuring comprehensive coverage of the query image. Anomalies are detected by comparing these reconstructions with the query image. PADFormer achieves state-of-the-art results on the PAD benchmark while maintaining comparable performance on classic few-shot anomaly detection (FSAD) tasks, demonstrating superior efficiency and generalization without requiring 3D reconstruction.