억제하고 다양화하라: 부패에 강건한 경로를 개선하여 모델의 강건성을 향상시키는 방법

Suppress and Diversify: Refining Robust Pathways for Corruption Robustness

자연 이미지 왜곡에 대한 모델의 강건성은 안전이 중요한 응용 분야에서 필수적입니다. 기존 방법들이 주로 암묵적인 표현 학습에 초점을 맞추는 반면, 본 연구에서는 내부 강건성을 명시적으로 특성화하기 위한 계산 경로를 체계적으로 탐구합니다. 우리는 네트워크 레이어 전반에 걸쳐 강건한 특징이 점진적으로 감소하는 현상을 확인하고, 이러한 특징의 분포와 모델 성능 간의 기능적 의존성을 규명했습니다. 이러한 통찰력을 바탕으로, 본 연구에서는 '억제하고 다양화하라(Suppress and Diversify, S&D)'라는 비침투적인 개선 방법을 제안합니다. S&D는 강건한 경로를 동적으로 선택하고 대칭을 유지하는 변환을 통해 이를 다양화함으로써 모델의 강건성을 향상시킵니다. S&D는 아키텍처에 구애받지 않으며, 추가적인 파라미터를 사용하지 않고 테스트 시간 오버헤드가 전혀 발생하지 않습니다. 8개의 벤치마크를 대상으로 실시한 광범위한 실험 결과, S&D는 다양한 시각 작업, 다양한 백본 구조, 그리고 복잡한 실제 환경에서 일관되게 성능을 향상시키는 것으로 나타났습니다. 이는 S&D의 광범위한 효능과 확장성을 입증합니다.

Model robustness against natural image corruptions is essential for safety-critical applications. While existing methods primarily focus on implicit representation learning, we provide the first systematic exploration of computational pathways to explicitly characterize internal robustness. We identify a progressive decay of robust features across network layers and establish a functional dependency between the prevalence of these features and model performance. To exploit these insights, we propose Suppress and Diversify (S\&D), a non-intrusive refinement approach that enhances robustness by dynamically selecting robust pathways and diversifying them through symmetry-preserving transformations. S\&D is architecture-agnostic, parameter-free, and incurs zero test-time overhead. Extensive evaluations across eight benchmarks demonstrate that S\&D consistently improves performance across multiple vision tasks, diverse backbones, and complex real-world scenarios, highlighting its broad efficacy and scalability.