적응적 확률 가우시안 보정 기반 다중 모드 테스트 시간 적응

Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration

다중 모드 테스트 시간 적응(TTA)은 추론 과정에서 레이블이 없는 대상 데이터를 활용하여 벤치마크 다중 모드 모델의 분포 변화에 대한 강건성을 향상시킵니다. 하지만, 기존의 다중 모드 TTA 방법론은 정확한 예측과 신뢰할 수 있는 의사 결정 경계를 얻는 데 중요한 역할을 하는, 범주 조건부 분포에 대한 명시적인 모델링의 부족이라는 지속적인 한계로 인해 발전이 제한되어 왔습니다. 일반적인 가우시안 판별 분석(GDA)은 범주 조건부 분포에 대한 기본적인 모델링을 제공하며, 단일 모드 환경에서는 어느 정도의 성능 향상을 가져왔습니다. 그러나, 다중 모드 TTA 환경에서는 고유한 모드 분포의 비대칭성이 범주 조건부 분포를 GDA를 통해 모델링하는 데 어려움을 초래합니다. 이에, 본 연구에서는 다중 모드 TTA를 위한 맞춤형 확률 가우시안 모델을 제안하여 범주 조건부 분포를 명시적으로 모델링하고, 모드 비대칭으로 인해 발생하는 부정적인 영향을 완화하기 위한 적응적 대비(contrastive) 비대칭 수정 기법을 제안합니다. 이를 통해 보정된 예측과 신뢰할 수 있는 의사 결정 경계를 얻을 수 있습니다. 다양한 벤치마크를 대상으로 실시한 광범위한 실험 결과, 제안하는 방법이 다양한 분포 변화 환경에서 최첨단 성능을 달성함을 보여줍니다. 코드 및 관련 자료는 https://github.com/XuJinglinn/AdaPGC 에서 확인할 수 있습니다.

Multi-modal test-time adaptation (TTA) enhances the resilience of benchmark multi-modal models against distribution shifts by leveraging the unlabeled target data during inference. Despite the documented success, the advancement of multi-modal TTA methodologies has been impeded by a persistent limitation, i.e., the lack of explicit modeling of category-conditional distributions, which is crucial for yielding accurate predictions and reliable decision boundaries. Canonical Gaussian discriminant analysis (GDA) provides a vanilla modeling of category-conditional distributions and achieves moderate advancement in uni-modal contexts. However, in multi-modal TTA scenario, the inherent modality distribution asymmetry undermines the effectiveness of modeling the category-conditional distribution via the canonical GDA. To this end, we introduce a tailored probabilistic Gaussian model for multi-modal TTA to explicitly model the category-conditional distributions, and further propose an adaptive contrastive asymmetry rectification technique to counteract the adverse effects arising from modality asymmetry, thereby deriving calibrated predictions and reliable decision boundaries. Extensive experiments across diverse benchmarks demonstrate that our method achieves state-of-the-art performance under a wide range of distribution shifts. The code is available at https://github.com/XuJinglinn/AdaPGC.