BPG: 도메인 점진적 학습을 위한 유연성과 일반화 능력의 균형

BPG: Balancing Plasticity and Generalization for Domain Incremental Learning

심층 신경망은 다양한 작업에서 뛰어난 성능을 보이지만, 데이터 분포의 변화에 따른 일반화 능력이 부족하여 도메인 변화 시 성능 저하가 심각하게 나타날 수 있습니다. 도메인 점진적 학습(DIL)은 이러한 문제를 해결하기 위해 모델이 기존 지식을 유지하면서 지속적으로 적응할 수 있도록 합니다. 기존 DIL 방법 중, 파라미터 격리 방식은 최첨단 성능을 달성합니다. 그러나 이러한 방법들은 종종 새로운 도메인에 대한 일반적인 접근 방식을 채택하여, 학습 용량이 부족하거나 불필요한 파라미터를 사용하게 됩니다. 본 연구에서는 BPG라는 통일된 프레임워크를 제안하며, 이는 두 가지 상호 보완적인 구성 요소를 통해 이러한 문제를 해결합니다. 첫째, BPG-Adapter는 각 도메인의 특성 분리 가능성을 기반으로 어댑터의 숨겨진 차원을 동적으로 결정합니다. 둘째, BPG-Inference는 여러 개의 도메인별 모델을 테스트 시점에 부드럽게 결합하는 전략으로, 잘못된 도메인 ID 선택 문제를 완화합니다. DomainNet, CDDB 및 CORe50 데이터셋에 대한 실험 결과, BPG는 기존의 균일한 어댑터 기반 방법과 경직된 도메인 선택 전략보다 우수한 성능을 보이며, 평균 정확도가 높고 DomainNet 데이터셋에서 잊힘 현상을 최대 0.22%까지 줄이는 것을 확인했습니다.

Deep neural networks excel in various tasks but struggle to generalize across evolving data distributions, leading to significant performance degradation under domain shifts. Domain incremental learning (DIL) addresses this challenge by enabling models to continuously adapt while retaining prior knowledge. Among existing DIL approaches, the parameter-isolation paradigm achieves state-of-the-art performance. However, these methods often adopt a one-size-fits-all approach to adapt to new domains, resulting in either insufficient learning capacity or redundant parameters. In this work, we propose BPG, a unified framework that addresses both challenges through two complementary components: BPG-Adapter, which dynamically determines each domain's adapter hidden dimension based on domain-specific feature separability, and BPG-Inference, a soft domain mixture strategy that integrates multiple domain-specific models at test time, mitigating domain ID misselection. Experimental results on DomainNet, CDDB, and CORe50 demonstrate that BPG consistently outperforms uniform adapter-based approaches and hard domain selection strategies, achieving state-of-the-art average accuracy while reducing forgetting to as low as 0.22% on DomainNet.