강건한 음성 딥페이크 탐지를 위한 시간-주파수 일관성 학습

Time-Frequency Consistency Learning for Robust Speech Deepfake Detection

최근, 음성 딥페이크 탐지(SDD) 분야는 상당한 발전을 이루었습니다. 그러나 그 견고성 평가는 주로 통제된 소음 환경에 국한되어 있으며, 실제 환경에서 사용되는 음향 전처리 파이프라인이 야기하는 복잡한 왜곡에 대한 체계적인 연구가 부족합니다. 본 연구에서는 음향 에코 제거, 노이즈 억제, 자동 이득 제어 및 음성 활동 감지(VAD)를 포함하는 통합된 음향 전처리 파이프라인을 시뮬레이션하고, 현재 최첨단 모델에 대한 종합적인 평가를 수행했습니다. 결과는 음향 전처리 과정에서 발생하는 비선형적이고 시간-주파수 결합된 왜곡이 탐지 성능을 크게 저하시킨다는 것을 보여줍니다. 이 문제를 해결하기 위해, 우리는 시간-주파수 일관성 학습(TFCL) 프레임워크를 제안합니다. TFCL은 음향 전처리 과정 전후에도 안정적인 특징 표현을 학습하여, 딥페이크 탐지의 견고성을 향상시키는 것을 목표로 합니다. 연구 결과, 음향 전처리는 시간적 불일치(예: VAD에 의해 발생하는 세그먼트 수준의 이동)뿐만 아니라 중요한 주파수 영역 단서를 약화시키거나 왜곡한다는 것을 확인했습니다. 따라서 TFCL은 주의 메커니즘을 기반으로 한 소프트 정렬 방식을 사용하여 시간적인 의존성을 포착하고, 주파수 영역 구조적 일관성 제약을 통해 특징의 불변성을 강화합니다. 그 결과, 모델은 시간 변화 및 스펙트럼 왜곡 모두에 대해 안정적인 표현을 유지할 수 있습니다. 광범위한 실험 결과를 통해, 제안된 방법이 음향 전처리 과정으로 인한 성능 저하를 효과적으로 완화하고 실제 환경에서의 SDD 견고성을 크게 향상시킨다는 것을 입증했습니다. 코드 및 관련 정보는 https://github.com/JunXue-tech/TFCL 에서 확인할 수 있습니다.

Recently, speech deepfake detection (SDD) has achieved significant progress. However, its robustness evaluation remains largely confined to controlled additive noise scenarios, lacking systematic investigation of the complex distortions introduced by acoustic front-end (AFE) processing pipelines in real-world deployments. In this work, we simulate a unified AFE pipeline comprising acoustic echo cancellation, noise suppression, automatic gain control, and voice activity detection (VAD), and conduct a comprehensive evaluation of current state-of-the-art models. The results show that the nonlinear and time-frequency coupled distortions introduced by AFE significantly degrade detection performance. To address this issue, we propose a Time-Frequency Consistency Learning (TFCL) framework, which aims to learn invariant spoofing representations that remain stable before and after AFE processing. We observe that AFE not only introduces temporal misalignment (e.g., segment-level shifts caused by VAD), but also weakens or distorts critical frequency-domain cues. To this end, TFCL employs an attention-driven soft alignment mechanism to capture cross-temporal dependencies, along with frequency-domain structural consistency constraints to enforce feature invariance. As a result, the model is able to maintain stable representations under both temporal perturbations and spectral distortions. Extensive experimental results demonstrate that the proposed method effectively mitigates the performance degradation caused by AFE processing, significantly improving the robustness of SDD in real-world scenarios. The code is available at https://github.com/JunXue-tech/TFCL.