AdaForensics: 특징 인식 기반 적응형 딥페이크 탐지기 학습

AdaForensics: Learning A Characteristic-aware Adaptive Deepfake Detector

본 논문에서는 특징 정보를 고려한 적응형 네트워크인 AdaForensics를 제안하여 딥페이크 탐지를 수행합니다. 기존의 대부분 방법은 신중하게 설계된 네트워크 구조를 사용하여 고정된 네트워크를 학습하고 이를 통해 딥페이크를 탐지합니다. 그러나 이러한 방법들은 다양한 얼굴 특징에도 불구하고 동일한 딥페이크 탐지기를 모든 이미지에 적용하므로, 개별 사용자에 대한 맞춤형 위조 탐지를 제공하지 못하는 문제가 있습니다. 이에 AdaForensics는 특징에 독립적인 임베딩과 특징에 특이적인 임베딩을 동시에 학습하며, 설계된 하이퍼 네트워크를 통해 탐지기가 입력되는 다양한 얼굴에 맞춰 실시간으로 적응하도록 합니다. 구체적으로, AdaForensics는 다양한 딥페이크 이미지에서 공유 가능한 추상화를 활용하는 것뿐만 아니라, 테스트 시점에 주어진 특징에 따라 탐지기를 적응시킵니다. 이를 위해, 입력 데이터의 특징에 따라 자동으로 파라미터를 조정하는 적응형 딥페이크 탐지기를 학습하기 위한 두 개의 분기 구조를 가진 하이퍼 네트워크를 제안합니다. FaceForensics, Celeb-DF 및 DFDC와 같은 널리 사용되는 데이터 세트에 대한 광범위한 실험 결과, AdaForensics는 최첨단 기술보다 우수한 성능을 보이는 것을 확인했습니다.

In this paper, we propose a characteristic-aware adaptive network named AdaForensics for deepfake detection. Most existing methods learn a fixed network to detect deepfakes based on carefully-designed network architectures. However, these methods employ the same deepfake detector for all the images despite of various facial characteristic, which fail to provide customized forgery detection for different individuals. To address this, our AdaForensics simultaneously learns characteristic-agnostic and characteristic-specific embeddings, where the detector dynamically adapts to varying faces with our designed hypernetwork on the fly. More specifically, our AdaForensics not only explores the shareable abstractions from various deepfake images, but also adapts the detector to the given characteristic at test time. To achieve this, we propose a two-branch HyperNetwork to learn an adaptive deepfake detector, which automatically adjusts the parameters based on characteristic of the input. Extensive experiments on widely-used datasets including FaceForensics, Celeb-DF and DFDC demonstrate our AdaForensics outperforms the state-of-the-art works.