SimMerge: 유사성 신호를 활용하여 병합 연산자 선택을 학습하는 방법

SimMerge: Learning to Select Merge Operators from Similarity Signals

모델 병합은 여러 모델을 하나의 모델로 통합하여 성능을 향상시키는 강력한 기술로, 특히 대규모 언어 모델(LLM) 개발에 유용합니다. 그러나 모델 병합의 확장은 어려운 과제입니다. 성능은 병합 연산자, 모델 부분집합, 병합 순서에 따라 달라지며, 최적의 조합을 찾기 위해서는 비용이 많이 드는 병합 및 평가 과정을 반복해야 합니다. 본 연구에서는 SimMerge라는 예측적 병합 선택 방법을 제시합니다. SimMerge는 모델 간의 저렴하고 작업에 독립적인 유사성 신호를 활용하여 높은 성능을 보이는 병합을 식별합니다. SimMerge는 작은 규모의 비레이블 데이터셋을 사용하여 모델의 기능적 및 구조적 특징을 추출하고, 이를 통해 후보 병합의 성능을 예측합니다. 이를 통해 반복적인 평가 없이 병합 연산자, 순서 및 모델 부분집합을 선택할 수 있습니다. 실험 결과, SimMerge는 70억 파라미터 LLM에서 가장 우수한 고정된 병합 연산자를 능가하는 성능을 보였으며, 추가 훈련 없이 다중 병합 및 1110억 파라미터 LLM에도 일반화됩니다. 또한, 새로운 작업과 연산자를 실시간으로 추가할 수 있는 강화 학습 기반 변형 모델도 함께 제시합니다. 이러한 결과는 체크포인트 카탈로그가 크고 평가 예산이 제한적인 경우, 모델 병합 학습을 통해 확장 가능한 모델 조합이 가능하다는 것을 시사합니다.

Model merging combines multiple models into a single model with aggregated capabilities, making it a powerful tool for large language model (LLM) development. However, scaling model merging is challenging: performance depends on the choice of merge operator, model subset, and merge order, often requiring expensive merge-and-evaluate searches. In this work, we introduce SimMerge, a predictive merge-selection method that identifies high-performing merges using inexpensive, task-agnostic similarity signals between models. Given a small set of unlabeled probes, SimMerge extracts functional and structural features to predict the performance of candidate two-way merges, enabling merge operator, order and model subset selection without iterative evaluation. We show that SimMerge consistently outperforms the best fixed merge operator across 7B-parameter LLMs and generalizes to multi-way merges and 111B-parameter LLMs without retraining. We further introduce a bandit variant that supports adding new tasks and operators online. Our results suggest that learning how to merge enables scalable model composition when checkpoint catalogs are large and evaluation budgets are limited.