다중 모드 테스트 시간 적응을 위한 안정성과 가소성 분리

Decoupling Stability and Plasticity for Multi-Modal Test-Time Adaptation

사전 훈련된 다중 모드 모델을 변화하는 테스트 시간 분포에 적응시키는 다중 모드 테스트 시간 적응은 중요한 과제입니다. 기존 방법들은 종종 편향되지 않은 모드에서 부정적인 전이 현상을, 편향된 모드에서 재앙적인 망각 현상을 경험합니다. 이러한 문제점을 해결하기 위해, 우리는 안정성과 가소성을 위한 분리 적응(Decoupling Adaptation for Stability and Plasticity, DASP)이라는 새로운 진단-해결 프레임워크를 제안합니다. 우리의 분석 결과, 통합된 잠재 공간 내에 중요한 불일치가 존재합니다. 즉, 편향된 모드는 편향되지 않은 모드에 비해 훨씬 더 높은 차원 간 중복성(특징 차원 간의 강한 상관 관계)을 보입니다. 이러한 통찰력을 바탕으로, DASP는 편향된 모드를 식별하고 비대칭적인 적응 전략을 구현합니다. 이 전략은 각 모드별 어댑터를 안정 구성 요소와 가소 구성 요소로 분리한 분리된 아키텍처를 사용합니다. 비대칭적인 메커니즘은 다음과 같이 작동합니다. 가소성이 필요한 편향된 모드의 경우, 가소 구성 요소가 활성화되고 업데이트되어 도메인별 정보를 캡처하는 반면, 안정 구성 요소는 고정됩니다. 반대로, 안정성이 필요한 편향되지 않은 모드의 경우, 가소 구성 요소는 우회되고, KL 정규화를 사용하여 안정 구성 요소가 업데이트되어 부정적인 전이 현상을 방지합니다. 이러한 비대칭적인 설계는 모델이 새로운 도메인에 유연하게 적응하면서 일반화 가능한 지식을 유지할 수 있도록 합니다. 다양한 다중 모드 벤치마크에 대한 종합적인 평가 결과, DASP는 최첨단 방법보다 훨씬 뛰어난 성능을 보이는 것으로 나타났습니다.

Adapting pretrained multi-modal models to evolving test-time distributions, known as multi-modal test-time adaptation, presents a significant challenge. Existing methods frequently encounter negative transfer in the unbiased modality and catastrophic forgetting in the biased modality. To address these challenges, we propose Decoupling Adaptation for Stability and Plasticity (DASP), a novel diagnose-then-mitigate framework. Our analysis reveals a critical discrepancy within the unified latent space: the biased modality exhibits substantially higher interdimensional redundancy (i.e., strong correlations across feature dimensions) compared to the unbiased modality. Leveraging this insight, DASP identifies the biased modality and implements an asymmetric adaptation strategy. This strategy employs a decoupled architecture where each modality-specific adapter is divided into stable and plastic components. The asymmetric mechanism works as follows: for the biased modality, which requires plasticity, the plastic component is activated and updated to capture domain-specific information, while the stable component remains fixed. Conversely, for the unbiased modality, which requires stability, the plastic component is bypassed, and the stable component is updated using KL regularization to prevent negative transfer. This asymmetric design enables the model to adapt flexibly to new domains while preserving generalizable knowledge. Comprehensive evaluations on diverse multi-modal benchmarks demonstrate that DASP significantly outperforms state-of-the-art methods.