LaP-Forensics: 잠재 픽셀 일관성을 활용한 다중 모드 추론을 통한 딥페이크 탐지

LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

최근 생성 모델은 눈에 띄는 시각적 결함을 거의 포함하지 않는 이미지를 생성할 수 있으며, 이는 표면적인 특징에만 의존하는 탐지 및 설명 시스템의 성능을 저하시킵니다. 본 논문에서는 RGB 의미 정보를 재구성 기반 포렌식 증거로 보완하는 다중 모드 프레임워크인 LaP-Forensics를 제안합니다. 동결된 Stable Diffusion DDIM 역전산 모델은 고정된 재구성 참조점을 제공하며, 잔차 맵은 해당 참조점과의 지역적 일관성을 측정합니다. 독립적인 투영기는 RGB 이미지와 잔차 맵을 인코딩하고, 구조화된 Where-What-Why 모델은 텍스트 분석과 결함 마스크를 예측합니다. 지도 학습 방식으로 미세 조정 후에는 Group Relative Policy Optimization (GRPO)를 적용하며, 보상 함수는 마스크 중첩과 출력 구조, 증거-참조 용어들을 결합합니다. 이러한 텍스트 관련 용어들은 모델이 일관성 맵을 참조하도록 유도하지만, 자유 형식의 텍스트 진실성을 검증하는 것은 아닙니다. 별도의 이미지 레벨 헤드는 RGB와 DDIM 잔차 클래스 특징을 통합합니다. 실험 결과는 UniversalFakeDetect를 이용한 다양한 생성기 탐지 성능과 공식 SynthScars 벤치마크에서의 경쟁력 있는 결함 위치 추정 성능을 보여줍니다. 제어된 신호 구성, 역전산 범위, 구성 요소, 보상 용어 및 반사실 분석은 평가된 설정에서 잔차 스트림의 유용성을 뒷받침합니다. 그러나 자유 형식의 텍스트 진실성과 후처리 과정에서의 신뢰성은 여전히 해결해야 할 과제로 남아 있습니다.

Recent generative models can produce images with few obvious visual artifacts, weakening detectors and explanations that rely only on surface appearance. We present LaP-Forensics, a multimodal framework that augments RGB semantics with reconstruction-based forensic evidence. A frozen Stable Diffusion DDIM inversion-reconstruction model provides a fixed reconstruction reference, and its residual map measures local compatibility with that reference. Independent projectors encode the RGB image and residual map before a structured Where-What-Why model predicts a textual analysis and an artifact mask.Supervised fine-tuning is followed by Group Relative Policy Optimization (GRPO), whose reward combines mask overlap with output-structure and evidence-reference terms. These text-side terms encourage the model to refer to the consistency map but do not constitute a verifier of free-form textual truth. A separate image-level head fuses RGB and DDIM-residual class features. Experiments show cross-generator detection on UniversalFakeDetect and competitive artifact localization on the official SynthScars benchmark. Controlled cue-construction, inversion-horizon, component, reward-term, and counterfactual analyses support the utility of the residual stream under the evaluated settings, while free-form textual faithfulness and reliability under post-processing remain open limitations.