분해를 통해 이해하고, 융합을 통해 탐지: 암호화된 네트워크 트래픽을 위한 주파수 분리 이상 탐지

Decompose to Understand, Fuse to Detect: Frequency-Decoupled Anomaly Detection for Encrypted Network Traffic

네트워크 트래픽 이상 탐지는 중요한 사이버 보안 과제이지만, 널리 사용되는 암호화 기술로 인해 이 작업은 점점 더 어려워지고 있습니다. 이에 대응하여, 트래픽을 시각적 패턴으로 모델링하는 이미지 기반 방법이 주된 접근 방식으로 부상했습니다. 그러나 본 연구에서는 이러한 패러다임 내에서 광범위하게 나타나는 '전주파수' 특성과 관련된 '스펙트럼 불일치'라는 제한점을 처음으로 밝혀냅니다. 구체적으로, 암호화된 트래픽은 두드러진 고주파 성분을 나타내지만, 일반적인 복원 방법은 저주파 정보 학습에 대한 내재적인 편향을 보입니다. 이러한 근본적인 불일치는 불완전한 표현으로 이어져 결과적으로 이상 탐지 성능을 저하시킵니다. 이러한 문제를 해결하기 위해, 암호화된 트래픽 분석을 위해 특별히 설계된 새로운 주파수 분리 프레임워크인 FreeUp을 제안합니다. FreeUp은 트래픽 데이터를 명확한 저주파 및 고주파 대역으로 분리하고, 별도의 전용 분기를 통해 처리하며, 안정적이고 독립적인 주파수별 학습을 보장하는 맞춤형 학습 전략을 사용합니다. 또한, 단순한 복원 오차가 이중 분기 아키텍처를 평가하는 데 적합하지 않다는 점을 인식하고, 불확실성에 기반한 융합 점수 메커니즘을 도입했습니다. 이 메커니즘은 주파수별 분기의 복원 불확실성을 정량화하고, 이들의 출력을 동적으로 통합하여 보다 포괄적이고 신뢰할 수 있는 이상 점수를 생성합니다. 다양한 벤치마크를 대상으로 실시한 광범위한 실험 결과, FreeUp은 최첨단 기준 모델보다 일관되게 우수한 성능을 보였습니다. 코드 및 관련 자료는 다음 주소에서 확인할 수 있습니다: https://github.com/ikun0124/FreeUp.

Network traffic anomaly detection represents a critical cybersecurity task, yet widespread encryption makes this task increasingly challenging. In response, image-based methods that model traffic as visual patterns have emerged as the dominant approach. However, this work pioneers the identification of a pervasive ``full-frequency'' characteristic and an associated limitation termed ``spectral mismatch'' within this paradigm. Specifically, while encrypted traffic exhibits prominent high-frequency components, mainstream reconstruction methods demonstrate an inherent bias toward learning low-frequency information. This fundamental mismatch results in incomplete representations that consequently degrade anomaly detection performance. To address this challenge, we propose FreeUp, a novel frequency-decoupled framework designed explicitly for encrypted traffic analysis. FreeUp decomposes traffic data into distinct low- and high-frequency bands, processing them through separate, dedicated branches along with a customized training strategy that ensures stable and independent frequency-specific learning. Furthermore, recognizing that simple reconstruction error proves inadequate for evaluating dual-branch architectures, we introduce an uncertainty-inspired fusion scoring mechanism. This mechanism quantifies the reconstruction uncertainty of the frequency-specific branches and dynamically integrates their outputs, yielding a more comprehensive and reliable anomaly score. Extensive experiments across multiple benchmarks demonstrate that FreeUp consistently outperforms state-of-the-art baselines. The code is available at https://github.com/ikun0124/FreeUp.