AD-Copilot: 시각적 맥락 비교를 통한 산업 이상 감지를 위한 비전-언어 어시스턴트

AD-Copilot: A Vision-Language Assistant for Industrial Anomaly Detection via Visual In-context Comparison

멀티모달 대규모 언어 모델(MLLM)은 자연스러운 시각적 이해에서 뛰어난 성과를 거두었지만, 산업 이상 감지(IAD) 분야에서는 일관되게 성능이 저조합니다. 이는 대부분의 일반 웹 데이터로 학습된 MLLM이 산업용 이미지와 현저하게 다르기 때문입니다. 또한, MLLM은 각 이미지를 독립적으로 인코딩하고 언어 공간에서만 이미지를 비교할 수 있기 때문에, IAD에 중요한 미묘한 시각적 차이에 민감하지 않습니다. 이러한 문제를 해결하기 위해, 우리는 시각적 맥락 비교를 통해 IAD에 특화된 인터랙티브 MLLM인 AD-Copilot을 제안합니다. 먼저, 희소하게 레이블링된 산업용 이미지에서 검사 지식을 추출하고 캡셔닝, 시각적 질의응답(VQA) 및 결함 위치 파악을 위한 정밀한 샘플을 생성하여 의미적 신호가 풍부한 대규모 멀티모달 데이터셋인 Chat-AD를 구축하는 새로운 데이터 큐레이션 파이프라인을 설계했습니다. 이러한 기반 위에서, AD-Copilot은 페어링된 이미지 특징 간의 크로스 어텐션을 활용하여 멀티 이미지의 미세한 인식을 향상시키는 새로운 비교 인코더를 통합하고, 도메인 지식을 통합하고 IAD 기술을 점진적으로 향상시키는 다단계 전략으로 학습됩니다. 또한, 바운딩 박스 기반 평가를 사용하는 이상 위치 파악을 위한 확장된 벤치마크인 MMAD-BBox를 소개합니다. 실험 결과, AD-Copilot은 데이터 유출 없이 다른 모든 모델을 능가하며 MMAD 벤치마크에서 82.3%의 정확도를 달성했습니다. MMAD-BBox 테스트에서 기준 모델 대비 최대 3.35배의 성능 향상을 보였습니다. AD-Copilot은 또한 다른 전문 및 범용 벤치마크에서 성능 향상 효과가 우수하게 일반화됩니다. 주목할 만하게, AD-Copilot은 여러 IAD 작업에서 인간 전문가 수준의 성능을 능가하며, 실제 산업 검사를 위한 신뢰할 수 있는 어시스턴트로서의 잠재력을 보여줍니다. 모든 데이터셋과 모델은 커뮤니티 전체의 발전을 위해 공개될 예정입니다.

Multimodal Large Language Models (MLLMs) have achieved impressive success in natural visual understanding, yet they consistently underperform in industrial anomaly detection (IAD). This is because MLLMs trained mostly on general web data differ significantly from industrial images. Moreover, they encode each image independently and can only compare images in the language space, making them insensitive to subtle visual differences that are key to IAD. To tackle these issues, we present AD-Copilot, an interactive MLLM specialized for IAD via visual in-context comparison. We first design a novel data curation pipeline to mine inspection knowledge from sparsely labeled industrial images and generate precise samples for captioning, VQA, and defect localization, yielding a large-scale multimodal dataset Chat-AD rich in semantic signals for IAD. On this foundation, AD-Copilot incorporates a novel Comparison Encoder that employs cross-attention between paired image features to enhance multi-image fine-grained perception, and is trained with a multi-stage strategy that incorporates domain knowledge and gradually enhances IAD skills. In addition, we introduce MMAD-BBox, an extended benchmark for anomaly localization with bounding-box-based evaluation. The experiments show that AD-Copilot achieves 82.3% accuracy on the MMAD benchmark, outperforming all other models without any data leakage. In the MMAD-BBox test, it achieves a maximum improvement of $3.35\times$ over the baseline. AD-Copilot also exhibits excellent generalization of its performance gains across other specialized and general-purpose benchmarks. Remarkably, AD-Copilot surpasses human expert-level performance on several IAD tasks, demonstrating its potential as a reliable assistant for real-world industrial inspection. All datasets and models will be released for the broader benefit of the community.