해밀턴 역학을 이용한 딥페이크 탐지

Detecting Deepfakes via Hamiltonian Dynamics

생성형 AI 모델의 급속한 발달로 인해, 딥페이크 탐지 시스템은 새로 개발된 합성 아티팩트를 감지하기 위해 주기적인 재보정이 필요합니다. 이러한 반복적인 과정을 해결하기 위해, 우리는 딥페이크 탐지에 대한 새로운 관점을 제시합니다. 즉, 정적인 패턴 인식에서 벗어나 동적인 안정성 분석으로 전환하는 것입니다. 구체적으로, 우리의 접근 방식은 물리학에 기반한 사전 지식에 의해 영감을 받았습니다. 우리는 자연 이미지가 소산적인 물리적 과정의 결과물로서, 안정적인 저에너지 평형 상태에 가까워지는 경향이 있다고 가정합니다. 반면, 생성 모델은 실제 이미지와의 통계적 유사성을 최적화하지만, 기하학적 매끄러움과 같은 구조적 제약을 명시적으로 강제하지 않기 때문에, 딥페이크는 불안정하고 고에너지 상태를 차지할 가능성이 더 높습니다. 이를 실현하기 위해, 우리는 Hamiltonian Action Anomaly Detection (HAAD)을 소개하며, 이는 세 가지 주요 기여를 포함합니다. extbf{i)} 우리는 이미지 잠재 공간을 위치 에너지 표면으로 모델링합니다. 이 가설하에, 실제 이미지는 저에너지 반응을 나타내는 분지 형태를 생성할 것으로 예상되는 반면, 가짜 이미지는 고에너지, 고 기울기 반응을 유발할 가능성이 더 높습니다. extbf{ii)} 우리는 해밀턴 역학에 영감을 받은 동역학을 안정성 검증 도구로 사용합니다. 잠재 상태를 정지 상태에서 방출하면, 안정 영역 근처의 샘플은 경계를 유지하는 반면, 고 기울기 샘플은 더 큰 궤적 반응을 생성합니다. extbf{iii)} 우리는 이러한 동적 행동을 두 가지 궤적 통계, 즉 해밀턴 작용 및 에너지 소산,을 통해 정량화합니다. 광범위한 실험 결과, HAAD는 어려운 교차 데이터셋 벤치마크에서 평가된 최첨단 모델보다 우수한 성능을 보였으며, 이는 디지털 포렌식 분야에서 물리학에 기반한 안정성 사전 지식의 유용성을 뒷받침합니다.

Driven by the rapid development of generative AI models, deepfake detectors are compelled to undergo periodic recalibration to capture newly developed synthetic artifacts. To break this cycle, we propose a new perspective on deepfake detection: moving from static pattern recognition to dynamical stability analysis. Specifically, our approach is motivated by physics-inspired priors: we hypothesize that natural images, as products of dissipative physical processes, tend to settle near stable, low-energy equilibria. In contrast, generative models optimize for statistical similarity to real images but do not explicitly enforce structural constraints such as geometric smoothness, leaving deepfakes more likely to occupy unstable, high-energy states. To operationalize this, we introduce Hamiltonian Action Anomaly Detection (HAAD), comprising three contributions: \textbf{i)} We model the image latent manifold as a potential energy surface. Under this hypothesis, real images are expected to produce basin-like low-energy responses, whereas fake images are more likely to induce high-potential, high-gradient responses. \textbf{ii)} We employ Hamiltonian-inspired dynamics as a stability probe. By releasing latent states from rest, samples near stable regions remain bounded, while high-gradient samples produce larger trajectory responses. \textbf{iii)} We quantify these dynamic behaviors through two trajectory statistics, \ie, Hamiltonian action and energy dissipation. Extensive experiments show that HAAD outperforms evaluated state-of-the-art baselines on challenging cross-dataset transfer benchmarks, supporting a physics-inspired stability prior for digital forensics.