RoME: 다양한 적대적 공격에 대한 강력한 저랭크 전문가 혼합 모델

RoME: Robust Mixture of Low-Rank Experts against Multiple Adversarial Perturbations

다중 공격에 대한 강건성을 확보하기 위한 다중 공격적 학습(MAT)은 여러 l_p 공격에 대해 강건성을 달성하는 것을 목표로 하지만, 서로 다른 위협 간의 강건성 균형 문제를 안고 있습니다. 이러한 문제를 해결하기 위해, 우리는 전문가 혼합(MoE) 모델을 사용하여 다양한 위협을 서로 다른 모델 경로를 통해 처리합니다. 그러나 MoE 모델을 직접 적용하면 두 가지 중요한 문제가 발생합니다. 첫째, 각 전문가는 위협별 특징을 간과하고 여러 위협에서 공유되는 특징을 중복적으로 학습하는 경향이 있습니다. 둘째, 게이트 네트워크는 위협에 관계없이 거의 동일한 라우팅 패턴을 학습하여 위협별 모델 경로를 구축하는 것을 방해합니다. 이러한 문제를 해결하기 위해, 우리는 공유된 핵심 구조에 저랭크 추가 업데이트를 적용하여 각 전문가가 위협에서 공통적으로 나타나는 특징을 파악하면서 동시에 위협별 특정 정보에 집중할 수 있도록 하는 Robust Mixture of Low-Rank Experts (RoME) 모델을 제안합니다. 또한, RoME는 (i) 지역적 및 전역적 특징에서 얻은 위협 식별 정보를 활용하는 이중 스케일 게이팅과 (ii) 위협에 따라 전문가의 활용도를 다양하게 만들어 위협 불변 라우팅 문제를 해결하기 위한 위협 기반 게이팅 다각화 방법을 도입합니다. 광범위한 실험 결과는 RoME가 기존의 최첨단 MAT 모델보다 더 높은 수준의 통합 강건성과 자연스러운 정확도를 제공하며, 이전에 보지 못한 위협에 대한 강건성도 향상시킨다는 것을 보여줍니다. 코드 및 관련 자료는 https://github.com/wkim97/RoME 에서 확인할 수 있습니다.

Multi-perturbation adversarial training (MAT) aims to achieve robustness against multiple $\ell_p$ perturbations but suffers from robustness trade-offs between different threats. To address this, we employ a mixture of experts (MoE) to route different threats through distinct model pathways. However, naive application of MoE encounters two critical challenges: experts tend to overlook threat-specific features and redundantly capture features shared across threats, and gating networks suffer from threat-agnostic routing where they learn nearly identical routing patterns across threats, thus preventing the construction of threat-specific model pathways. To this end, we propose Robust Mixture of Low-Rank Experts (RoME), where each expert is a low-rank additive update to the shared backbone, allowing it to capture threat-common features while experts focus on threat-specific information. To address threat-agnostic routing, RoME introduces (i) dual-scale gating that exploits threat-discriminative signals from local and global level features, and (ii) threat-guided gating diversification that enforces diverse expert utilization across threats. Extensive experiments demonstrate that RoME outperforms existing state-of-the-art MAT in union robustness and natural accuracy and improves robustness against unseen threats. Codes are available at https://github.com/wkim97/RoME.