일반화된 AI 생성 이미지 탐지를 위한 시각-언어 모델의 잠재력 극대화

Unleashing the Potential of Vision-Language Models for Generalizable AI-Generated Image Detection

최근 연구에 따르면, 최신 시각 기반 모델(VFMs)에서 얻은 고정된 표현을 활용한 간단한 선형 검출 방법이 기존의 특수 목적 검출기보다 훨씬 뛰어난 성능을 보여주며, 특히 실제 환경에서의 어려운 조건에서도 높은 AI 생성 이미지 탐지 성능을 달성합니다. 이러한 결과는 DINOv3가 이후 연구의 주요 기반 모델로 자리 잡도록 했습니다. 그러나 본 연구에서는 Perception Encoder (PE)라는 시각-언어 모델이 AI 생성 이미지 탐지에 더 큰 잠재력을 가지고 있음을 발견했습니다. PE는 언어와 연결된 표현 방식을 통해 고수준의 출처 정보를 보다 잘 보존하기 때문입니다. 특히, PE는 DINOv3보다 더 강력한 지역적 출처 정보 조직 능력을 가진 것으로 나타났습니다. 하지만, 의미를 고려하지 않는 선형 검출 방법은 이러한 구조를 충분히 활용하지 못하여, PE-Linear는 여전히 In-the-Wild 데이터셋에서 DINOv3-Linear에 비해 4.1% 낮은 성능을 보였습니다. 이러한 관찰을 바탕으로, 우리는 법의학적 의미 정보를 기반으로 카테고리 프로토타입을 구축하고 지도 학습 데이터를 사용하여 이를 조정하는 Semantic Prototype Calibration (SPC) 방법을 제안합니다. SPC를 PE에 적용하여 PE-SPC라는 검출기를 개발했습니다. 분석 결과, 이 간단한 설계는 더 강력한 일반화 성능을 보여줍니다. 다양한 생성 모델, 후처리 및 실제 환경에서의 벤치마크 테스트에서 PE-SPC는 기존의 DINOv3 기반 모델보다 우수한 성능을 보이며 새로운 최고 수준의 결과를 달성합니다.

Recent work has shown that a simple linear probe on frozen representations from modern vision foundation models (VFMs) can achieve state-of-the-art AIGI detection performance, substantially outperforming specialized detectors in challenging in-the-wild scenarios. This finding has established DINOv3 as the dominant foundation-model baseline for subsequent improvements. However, we find that the vision-language model Perception Encoder (PE) holds greater potential for AIGI detection, because its language-aligned representation preserves high-level provenance semantics. Specifically, PE exhibits stronger local provenance organization than DINOv3 in its frozen feature space. However, semantic-agnostic linear probing fails to exploit this structure, as PE-Linear still underperforms DINOv3-Linear by 4.1% on In-the-Wild. Based on this observation, we propose Semantic Prototype Calibration (SPC), which constructs category prototypes from forensic semantic information and calibrates them with supervised data. We apply SPC to PE and refer to the resulting detector as PE-SPC. Our analysis shows that this simple design achieves stronger generalization. Across cross-generator, post-processing, and in-the-wild benchmarks, PE-SPC surpasses the previous DINOv3 baseline and achieves new state-of-the-art results.