채널 수준의 희소화(sparsification)를 통한 도메인 불변 특징 학습: 일반화 성능 향상을 위한 접근

Learning domain-invariant features through channel-level sparsification for Out-Of Distribution Generalization

분포 외(Out-of-Distribution, OOD) 일반화는 이미지 분석 시스템의 성능을 평가하는 주요 지표로 자리 잡았습니다. 딥러닝 모델은 종종 특정 도메인에 특화된 정보를 학습하며, 이는 비인과적인 특징에 대한 단축 경로(shortcut) 의존성을 유발하여, 다양한 데이터 소스에 걸쳐 일관성 없는 성능을 보이게 됩니다. 기존의 불변성 학습(invariance learning) 기법들은 이러한 문제를 완화하려고 시도하지만, 깊은 잠재 공간 내에 혼합된 특징들을 분리하는 데 어려움을 겪습니다. 이러한 제한성은 단축 경로 학습 문제를 완전히 해결하는 것을 방해합니다. 본 논문에서는 계층적 인과적 드롭아웃(Hierarchical Causal Dropout, HCD)이라는 방법을 제안합니다. HCD는 채널 수준의 인과적 마스크를 사용하여 특징의 희소성을 강제하며, 이를 통해 모델이 인과적 특징과 우연적 특징을 분리하여, 표현 수준에서 인과적 개입을 수행할 수 있도록 합니다. 학습 과정은 행렬 기반 상호 정보량(Matrix-based Mutual Information, MMI) 목적 함수에 의해 주도됩니다. MMI는 잠재 특징과 도메인 레이블 간의 상호 정보량을 최소화하는 동시에, 클래스 레이블과 공유되는 정보를 최대화합니다. 안정성을 확보하기 위해, 스타일 혼합(StyleMix) 기반의 VICReg 모듈을 통합하여 마스크가 의도치 않게 필수적인 인과적 데이터를 제거하는 것을 방지합니다. OOD 벤치마크에서의 실험 결과는 HCD가 기존의 최상위 성능 기법들보다 우수한 성능을 보임을 보여줍니다.

Out-of-Distribution (OOD) generalization has become a primary metric for evaluating image analysis systems. Since deep learning models tend to capture domain-specific context, they often develop shortcut dependencies on these non-causal features, leading to inconsistent performance across different data sources. Current techniques, such as invariance learning, attempt to mitigate this. However, they struggle to isolate highly mixed features within deep latent spaces. This limitation prevents them from fully resolving the shortcut learning problem.In this paper, we propose Hierarchical Causal Dropout (HCD), a method that uses channel-level causal masks to enforce feature sparsity. This approach allows the model to separate causal features from spurious ones, effectively performing a causal intervention at the representation level. The training is guided by a Matrix-based Mutual Information (MMI) objective to minimize the mutual information between latent features and domain labels, while simultaneously maximizing the information shared with class labels.To ensure stability, we incorporate a StyleMix-driven VICReg module, which prevents the masks from accidentally filtering out essential causal data. Experimental results on OOD benchmarks show that HCD performs better than existing top-tier methods.