V-FIND: 비디오 위조 탐지기의 내재된 위조 관련 지식 분석

V-FIND: Revealing the Intrinsic Forgery Knowledge Encoded in Video Forgery Detectors

생성된 비디오가 점점 더 사실적으로 만들어짐에 따라, 신뢰할 수 있는 비디오 위조 탐지는 더욱 중요해지고 있습니다. 기존 연구에서는 일반적으로 비디오 위조 탐지기를 블랙박스로 최적화하고 사용하며, 그 내부에는 잠재되어 있지만 탐색되지 않은 위조 판별 지식이 존재합니다. 본 연구는 지속적인 성능 향상을 위해 리소스 집약적인 전체 모델 재학습에 의존하는 대신, 비디오 위조 탐지기 내부에 존재하는 희소한 법의학적 지식을 발견하고 활용하여 위조 여부를 판단할 수 있는지 질문합니다. 분석 결과, 위조 판별 관련 지식이 전체 표현 공간에 균등하게 분포되어 있지 않으며, 특정 기능을 수행하는 신경 세포 집합에 집중되어 있음을 확인했습니다. 이러한 통찰력을 바탕으로 비디오 위조 탐지기의 내재된 신경 세포 발견 프레임워크인 V-FIND를 제안합니다. V-FIND는 먼저 실제 비디오와 위조된 비디오 간의 뚜렷한 차이를 보이는 중요한 레이어를 찾아내고, 지속적으로 위조 판별 신호를 전달하는 잠재적인 핵심 신경 세포를 식별하여 이를 활용 가능한 법의학적 서브 공간으로 구성합니다. 원래 모델은 고정하고 가벼운 선형 분류기만 학습함으로써, 이 서브 공간은 다양한 외부 데이터셋에서 강력한 탐지 성능을 보여줍니다. 추가적인 신경 세포 조작 실험 결과는 발견된 신경 세포의 기능적 특이성을 직접적으로 입증합니다. 전반적으로 이러한 결과는 비디오 위조 탐지기가 추출 가능하고 재사용 가능한 희소한 위조 판별 지식을 포함하고 있으며, 이를 통해 해당 탐지기의 내재된 법의학적 능력을 이해하고 활용하는 새로운 관점을 제시한다는 것을 의미합니다.

As generated videos become increasingly realistic, reliable video forgery detection is increasingly important. Existing studies typically optimize and use video forgery detectors as black boxes, while the latent forgery-discriminative knowledge inside them remains largely unexplored. Instead of continuing to rely on resource-intensive full-model retraining to steadily improve detection performance, we ask whether video forgery detection can also be achieved by uncovering and activating sparse forensic knowledge within the detector. We find that forgery-discriminative knowledge is not uniformly distributed across the full representation space, but is concentrated in a sparse set of functionally specialized neurons. Based on this insight, we propose a video forgery-intrinsic neuron discovery (V-FIND) framework. V-FIND first localizes critical layers that exhibit pronounced discrepancies between real and forged videos, and then identifies latent anchor neurons that consistently carry forgery-discriminative signals, organizing them into a compact forensic subspace. With the original backbone frozen and only a lightweight linear classifier trained, this subspace still delivers strong detection performance across multiple external benchmarks for generated videos. Further neuron intervention experiments provide direct evidence for the functional specificity of the discovered neurons. Overall, these results suggest that video forgery detectors contain sparse, extractable, and reusable forgery-discriminative knowledge, offering a new perspective on understanding and exploiting their intrinsic forensic capability.