BP-TTA: 동적 환경에서의 균형 잡힌 프로토타입 기반 테스트 시간 적응

BP-TTA: Balanced and Prototype-Guided Test-Time Adaptation in Dynamic Scenarios

테스트 시간 적응(TTA)은 소스 도메인에서 학습된 모델이 분포 변화가 발생하는 상황에서 레이블이 없는 테스트 데이터를 사용하여 실시간으로 적응할 수 있도록 합니다. 최근의 TTA 방법들은 정적인 환경을 넘어 지속적인 도메인 변화를 고려하기 시작했지만, 주로 분포 드리프트를 다루고 동적 시나리오에서의 클래스 불균형 문제를 해결하지 못합니다. 실제 환경에서 클래스 불균형과 지속적인 도메인 변화는 종종 동시에 발생하며 서로 영향을 미칩니다. 본 논문에서는 이러한 문제를 해결하기 위해 배치 균형 샘플링과 프로토타입 기반 적응을 결합한 새로운 균형 잡힌 프로토타입 기반 테스트 시간 적응(BP-TTA) 방법을 제안합니다. BP-TTA는 높은 신뢰도를 가진 과거 데이터를 현재 데이터와 통합하여 균형 잡힌 적응 배치를 구성함으로써, 우세 클래스에 대한 편향을 줄이고 온라인 업데이트를 안정화시킵니다. 또한, BP-TTA는 추론 과정에서 진화하는 클래스 프로토타입을 유지하고, 프로토타입 유사성을 모델 적응의 제약 조건으로 활용하여 가짜 레이블의 신뢰도를 높이고 지속적인 도메인 변화 하에서의 온라인 업데이트 안정성을 향상시킵니다. 광범위한 실험 결과는 BP-TTA가 동적 테스트 시간 스트리밍 환경에서 최첨단 TTA 방법보다 일관되게 우수한 성능을 보임을 보여줍니다.

Test-Time Adaptation (TTA) enables models trained on a source domain to adapt online to unlabeled test data under distribution shifts. While recent TTA methods have moved beyond static settings and begun to consider continual domain shifts, they primarily address distribution drift and fail to account for class imbalance in dynamic scenarios. In real-world test-time streams, class imbalance and continual domain shifts often occur at the same time and interact with each other. In this paper, we propose a novel Balanced and Prototype-Guided Test-Time Adaptation (BP-TTA) method, which combines batch-balanced sampling with prototype-guided adaptation to handle the class imbalance and continual domain shift problems. BP-TTA constructs balanced adaptation batches by integrating current samples with high-confidence historical instances, effectively mitigating bias toward dominant classes and stabilizing online updates. Meanwhile, BP-TTA maintains evolving class prototypes during inference and leverages prototype similarity as a constraint for model adaptation, thereby improving the reliability of pseudo-labels and enhancing the stability of online updates under persistent domain shifts. Extensive experiments demonstrate that BP-TTA consistently outperforms state-of-the-art TTA methods in dynamic test-time streaming settings.