현대형 VLM에서 강력한 픽셀 단위 이미지 위변조 탐지를 위한 간단한 도메인 일반화

Simple Domain Generalization for Strong Pixel-Level Image Tampering Detection in Modern VLMs

최신 비전-언어 모델(VLM)은 이미지 생성 및 편집 기능을 크게 향상시켜 픽셀 단위 이미지 위변조 탐지의 중요성이 높아지는 동시에, 다양한 모델 간의 차이와 분포 변화로 인해 더욱 어려워지고 있습니다. 본 연구는 ChatGPT, Gemini, Qwen-Image 등과 같은 최신 VLM에서 픽셀 단위 이미지 위변조 탐지를 위한 도메인 일반화 방법을 연구하며, 다양한 VLM에 의해 생성된 위변조 분포에 대해 안정적인 성능을 보이는 위변조 위치 추정 모델을 학습하는 것을 목표로 합니다. 우리는 두 가지 실용적인 전략을 기반으로 하는 간단하면서도 효과적인 도메인 일반화 훈련 프레임워크를 제안합니다. 첫째, 각 미니 배치 내에서 위변조된 이미지와 원본 이미지를 전략적으로 샘플링하는 균형 잡힌 미니 배치 샘플링 방식을 도입하여, 위변조된 패턴이나 원본 이미지의 특성에 편향되지 않도록 하고 훈련이 중단되는 현상을 방지하며, 각 최적화 단계에서 적절한 샘플링된 기울기 신호를 제공합니다. 둘째, 간단한 지연 주입 전략을 채택하여, 먼저 대규모 기본 데이터 세트를 사용하여 검출기를 안정적으로 수렴될 때까지 훈련하고, 이후 새로운 VLM 분포에서 선택된 소량의 추가 데이터를 노출시켜 과적합 없이 새로운 도메인에 대한 적응력을 향상시킵니다. 이러한 구성 요소들은 최신 VLM 전반에 걸쳐 픽셀 단위 위변조 위치 추정 및 이상 탐지(OOD) 성능을 개선하는 간단하면서도 강력한 방법을 제공합니다. 개념적으로 단순함에도 불구하고, 제안하는 프레임워크는 GPT-Images-2.0, Gemini-3.1, FLUX.2, Seedream 4.5와 같은 다양한 VLM에서 평균 gIoU 및 cIoU 지표에서 기존 최고 성능 모델인 PIXAR보다 각각 26.1% 및 26.8% 더 높은 성능을 보입니다. 관련 코드는 https://github.com/VILA-Lab/PIXAR-DG 에서 확인할 수 있습니다.

Modern vision-language models (VLMs) have significantly improved image generation and editing capabilities, making pixel-level image tampering detection increasingly important yet challenging under cross-model and out-of-distribution shifts. This work studies domain generalization for pixel-level image tampering detection in modern VLMs like ChatGPT, Gemini, Qwen-Image, etc., aiming to learn tampering localization models that remain robust across diverse VLM-generated manipulation distributions. We propose a simple yet effective domain-generalized training framework built on two practical strategies. First, we introduce a balanced minibatch sampling scheme that strategically samples tampered and real images in each minibatch, preventing biased optimization toward either manipulated artifacts or clean-image priors and avoiding training collapse, ensuring that each optimization step receives proper sampled gradient signals. Second, we adopt a simple late-injection strategy, where the detector is first trained on large-scale base data until stable convergence, and then exposed to a small amount of newly selected supporting data from emerging VLM distributions, improving adaptability without overfitting to limited new domains. Together, these components provide a simple yet strong recipe for improving pixel-level tampering localization and OOD robustness across modern VLMs. Despite the conceptual simplicity, our framework outperforms the prior state-of-the-art PIXAR by a large margin of 26.1% and 26.8% relative improvement in average gIoU and cIoU, respectively, across OOD VLMs of GPT-Images-2.0, Gemini-3.1, FLUX.2, and Seedream 4.5. Our code is available at https://github.com/VILA-Lab/PIXAR-DG