미세 조정 파라미터 공간에서의 모델 병합: 확률적 추론 접근 방식

Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space

모델 병합은 추가적인 데이터 기반 미세 조정을 수행하지 않고, 기존의 단일 작업 솔루션을 결합하여 다중 작업 솔루션을 구축하는 것을 목표로 합니다. 대부분의 기존 방법은 로컬 솔루션 공간의 기하학적 특성을 활용합니다. 하지만 이러한 기하학적 관점은 모델 병합 과정에서 각 작업별 업데이트 방향이 통계적으로 얼마나 유용한지를 평가하는 데 제한적인 정보를 제공합니다. 본 연구에서는 모델 병합을, 각 단일 작업 솔루션이 병합된 파라미터에 대한 에너지 기반 전문가 모델(EBM)로 정의되는 제품-전문가(PoE) 시나리오에서의 확률적 추론이라는 새로운 관점에서 접근합니다. 우리는 제시하는 프레임워크 하에서 특정 에너지 설계에 따라 기존의 여러 모델 병합 방법들이 특수한 경우로 나타나는 것을 보입니다. 이러한 에너지 설계는 병합된 모델과 작업별 모델 간의 방향성 잔차에 대해 암묵적인 가우시안 분포를 가정합니다. 실험적으로, 이러한 잔차가 종종 두꺼운 꼬리를 가지며, 이는 강제되는 가벼운 꼬리의 가우시안 구조와 불일치를 드러냅니다. 우리는 이러한 문제를 해결하기 위해 코시 전문가 기반의 두꺼운 꼬리 PoE 설계를 제안하며, 이는 관찰된 잔차 특성을 더 잘 반영하고 검증 가능한 수렴 추론 절차를 허용합니다. 다양한 작업 및 아키텍처에 대한 실험 결과는 최첨단(state-of-the-art) 기준보다 상당한 성능 향상을 보여줍니다. 관련 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/MinhLong210/PoE-EBM-Merging.git.

Model merging aims to combine existing single-task solutions into a multi-task solution without additional data-driven fine-tuning.~Most existing approaches achieve this using geometric properties of local solution spaces. However, such geometric views provide limited guidance for scoring how statistically useful each task-specific update direction is across tasks during merging. To address this, we formulate model merging from a new perspective of probabilistic inference under a product-of-experts (PoE) scenario where each single-task solution defines an energy-based expert model (EBM) over the merged parameters. We show that several existing model merging methods arise as special cases of our framework under energy designs that impose implicit Gaussian assumptions on directional residuals between merged and task-specific models. Empirically, we find that these residuals are often heavy-tailed which exposes a mismatch with the imposed light-tailed Gaussian structures. We address this with a heavy-tailed PoE design based on Cauchy experts, which better captures the observed residual behavior while admitting a provably convergent inference procedure. Experiments across multiple tasks and architectures show significant improvements over state-of-the-arts baselines. Our code is available at https://github.com/MinhLong210/PoE-EBM-Merging.git.