태스크 수준 모델 병합 실패 현상에 대한 실증 연구 및 이론적 설명

An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse

모델 병합은 동일한 기반 모델에서 독립적으로 학습된 LLM을 통합하여, 재학습 없이 개발 노력을 재사용하고 통합할 수 있도록 합니다. 하지만 실제로는 병합이 항상 성공하는 것은 아니며, 특정 태스크 전문 모델들의 조합은 병합 후 심각한 성능 저하를 겪는 경우가 있습니다. 우리는 이러한 실패 현상을 '병합 실패(merging collapse)'라고 부릅니다. 직관적으로, 실패는 서로 다른 태스크에 대해 학습된 표현 또는 파라미터 조정이 근본적으로 호환되지 않아, 병합 과정에서 파괴적인 간섭이 발생하기 때문입니다. 본 논문에서는 특정 태스크 조합이 모든 병합 방법에서 일관되게 큰 성능 저하를 유발하는 태스크 수준 병합 실패 현상을 분석하고 특징짓습니다. 광범위한 실험과 통계 분석을 통해, 태스크 간 표현 불일치가 병합 실패와 강한 상관관계를 가지는 반면, 파라미터 공간 충돌 지표는 미미한 상관관계를 가진다는 것을 입증했습니다. 이는 모델 병합 관련 기존 연구의 일반적인 견해에 도전합니다. 또한, 차원 의존적 경계를 갖는 속도-왜곡 이론을 통해 이 현상에 대한 이론적 설명을 제공하여, 방법론에 관계없이 태스크 병합 가능성에 대한 근본적인 한계를 제시합니다.

Model merging unifies independently fine-tuned LLMs from the same base, enabling reuse and integration of parallel development efforts without retraining. However, in practice we observe that merging does not always succeed: certain combinations of task-specialist models suffer from catastrophic performance degradation after merging. We refer to this failure mode as merging collapse. Intuitively, collapse arises when the learned representations or parameter adjustments for different tasks are fundamentally incompatible, so that merging forces destructive interference rather than synergy. In this paper, we identify and characterize the phenomenon of task-level merging collapse, where certain task combinations consistently trigger huge performance degradation across all merging methods. Through extensive experiments and statistical analysis, we demonstrate that representational incompatibility between tasks is strongly correlated with merging collapse, while parameter-space conflict metrics show minimal correlation, challenging conventional wisdom in model merging literature. We provide a theoretical explanation on this phenomenon through rate-distortion theory with a dimension-dependent bound, establishing fundamental limits on task mergeability regardless of methodology.