분리된 환경에서의 도메인 적응 모델 병합

Domain-Adaptive Model Merging across Disconnected Modes

데이터를 중앙 집중화할 수 없는 경우, 즉 개인 정보 보호 또는 데이터 이질성으로 인해 데이터 공유가 제한되는 상황에서 여러 도메인에서 학습하는 것은 어려운 과제이며, 이는 단일의 포괄적인 모델을 훈련하는 능력을 제한합니다. 모델 병합은 여러 개의 전문화된 모델에서 얻은 지식을 하나의 모델로 통합하여 데이터 공유를 피하고 재훈련 비용을 줄이는 매력적인 대안을 제공합니다. 본 연구에서는 매우 다른 모델들을 처리하도록 설계된 데이터 없는 모델 병합 프레임워크인 DMM을 제시합니다. DMM은 세 단계로 진행됩니다. 첫째, 도메인별 모델을 독립적으로 훈련합니다. 둘째, 높은 유사성을 가진 모델들을 표준 기술을 사용하여 병합하여 안정성을 확보합니다. 셋째, 정규화 통계로부터 생성된 가짜 데이터를 사용하여, 다양한 모델로부터 얻은 지식을 이러한 샘플을 기반으로 하는 경량화된 정제 과정을 통해 병합된 모델로 전달합니다. 이러한 접근 방식은 안정성을 유지하면서도 드물지만 중요한 지식을 보존합니다. 단일 모드 및 다중 모드 벤치마크에 대한 광범위한 실험 결과, DMM은 기존의 병합 방법에 비해 최첨단 성능을 달성함을 보여줍니다.

Learning across domains is challenging when data cannot be centralized due to privacy or heterogeneity, which limits the ability to train a single comprehensive model. Model merging provides an appealing alternative by consolidating knowledge from multiple specialized models into one, avoiding data sharing and reducing retraining cost. In this work, we present DMM, a data-free model merging framework designed to handle highly divergent models. DMM proceeds in three steps. First, domain-specific models are trained independently. Second, models with high similarity are merged using standard techniques to ensure stability. Third, we synthesize pseudo-data from normalization statistics and distill knowledge from divergent models into the merged model through a lightweight refinement guided by these samples. This approach preserves rare but critical knowledge while maintaining stability. Extensive experiments on unimodal and multimodal benchmarks show that DMM achieves state-of-the-art performance over existing merging methods.