파라미터 산술 연산을 넘어서: 분포 인식 모델 병합을 위한 희소 상호보완적 융합

Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging

모델 병합은 가중치 공간에서 직접 작동하여 대규모 언어 모델의 능력을 결합하는 유망한 패러다임으로 부상했으며, 이를 통해 비용이 많이 드는 재학습 없이도 전문화된 모델을 통합할 수 있게 해줍니다. 그러나 기존의 병합 방법들은 대부분 파라미터 공간의 휴리스틱에 의존하며, 이는 종종 심각한 간섭을 야기하여 일반화 성능 저하 및 반복적이거나 일관성 없는 출력과 같은 불안정한 생성 동작을 초래합니다. 본 연구에서는 희소하고 분포를 인식하는 업데이트를 통해 기능적 간섭을 명시적으로 제어하는 새로운 모델 병합 프레임워크인 역 KL 기반 희소 상호보완적 융합(SCF-RKL)을 제안합니다. 파라미터 공간에서의 선형 가산성을 가정하는 대신, SCF-RKL은 역 쿨백-라이블러(Kullback-Leibler) 발산을 사용하여 모델 간의 기능적 차이를 측정하고 상호보완적인 파라미터를 선택적으로 통합합니다. 이러한 모드 탐색적(mode-seeking)이고 희소성을 유도하는 설계는 새로운 능력을 통합하는 동시에 안정적인 표현을 효과적으로 보존합니다. 우리는 추론 중심 모델과 지시 튜닝(instruction-tuned) 모델을 아울러 다양한 규모와 아키텍처의 모델에서 SCF-RKL을 평가했습니다. 고급 추론, 일반 추론 및 지식, 지시 이행, 안전성, 비전 분류에 걸친 24개 벤치마크에서의 광범위한 실험 결과는 SCF-RKL이 강력한 일반화 성능과 생성 안정성을 유지하면서 기존 모델 병합 방법들을 일관되게 능가함을 보여줍니다.

Model merging has emerged as a promising paradigm for composing the capabilities of large language models by directly operating in weight space, enabling the integration of specialized models without costly retraining. However, existing merging methods largely rely on parameter-space heuristics, which often introduce severe interference, leading to degraded generalization and unstable generation behaviors such as repetition and incoherent outputs. In this work, we propose Sparse Complementary Fusion with reverse KL (SCF-RKL), a novel model merging framework that explicitly controls functional interference through sparse, distribution-aware updates. Instead of assuming linear additivity in parameter space, SCF-RKL measures the functional divergence between models using reverse Kullback-Leibler divergence and selectively incorporates complementary parameters. This mode-seeking, sparsity-inducing design effectively preserves stable representations while integrating new capabilities. We evaluate SCF-RKL across a wide range of model scales and architectures, covering both reasoning-focused and instruction-tuned models. Extensive experiments on 24 benchmarks spanning advanced reasoning, general reasoning and knowledge, instruction following, and safety demonstrate, vision classification that SCF-RKL consistently outperforms existing model merging methods while maintaining strong generalization and generation stability.