MalMoE: 그래프 드리프트 환경에서의 전문가 결합 기반 암호화된 악성 트래픽 탐지 시스템

MalMoE: Mixture-of-Experts Enhanced Encrypted Malicious Traffic Detection Under Graph Drift

암호화는 네트워크 트래픽의 보안을 위해 널리 사용되지만, 패킷 내용이 보이지 않기 때문에 악성 트래픽 탐지에 어려움을 야기합니다. 그래프 기반 방법은 다중 호스트 간의 상호 작용을 활용하여 탐지 정확도를 높이는 유망한 솔루션으로 떠오르고 있습니다. 그러나 대부분의 방법은 시간이 지남에 따라 그래프의 흐름 통계 또는 위상 정보가 변하는 '그래프 드리프트'라는 중요한 문제에 직면합니다. 이러한 단점을 극복하기 위해, 우리는 그래프 기반의 암호화된 트래픽 탐지 시스템인 MalMoE를 제안합니다. MalMoE는 전문가 결합(Mixture of Experts, MoE)을 적용하여 드리프트에 대한 분류를 수행하는 데 가장 적합한 전문가 모델을 선택합니다. 특히, 우리는 다양한 특징을 가진 그래프를 분석하여 다양한 그래프 드리프트를 처리할 수 있는 1-홉 GNN과 유사한 전문가 모델을 설계했습니다. 그리고 재설계된 게이트 모델은 실제 드리프트에 따라 전문가를 선택합니다. MalMoE는 데이터 증강을 포함한 안정적인 2단계 학습 전략으로 훈련되며, 이를 통해 게이트가 라우팅을 어떻게 수행해야 하는지 효과적으로 안내합니다. 오픈 소스, 합성 및 실제 데이터 세트에 대한 실험 결과, MalMoE는 정확하고 실시간으로 악성 트래픽을 탐지할 수 있음을 보여줍니다.

Encryption has been commonly used in network traffic to secure transmission, but it also brings challenges for malicious traffic detection, due to the invisibility of the packet payload. Graph-based methods are emerging as promising solutions by leveraging multi-host interactions to promote detection accuracy. But most of them face a critical problem: Graph Drift, where the flow statistics or topological information of a graph change over time. To overcome these drawbacks, we propose a graph-assisted encrypted traffic detection system, MalMoE, which applies Mixture of Experts (MoE) to select the best expert model for drift-aware classification. Particularly, we design 1-hop-GNN-like expert models that handle different graph drifts by analyzing graphs with different features. Then, the redesigned gate model conducts expert selection according to the actual drift. MalMoE is trained with a stable two-stage training strategy with data augmentation, which effectively guides the gate on how to perform routing. Experiments on open-source, synthetic, and real-world datasets show that MalMoE can perform precise and real-time detection.