모델 병합을 위한 희소성 인지 진화 알고리즘

Sparsity-Aware Evolution for Model Merging

본 논문에서는 모델 병합을 위한 희소성 인지 진화(SAE) 프레임워크를 제안합니다. 이 프레임워크는 반복적인 가지치기-병합 주기를 활용하여 새로운 변이 연산자로 작동합니다. 우리는 기존의 성능 지표 외에도, 희소성 제약을 점수 함수에 통합하여 진화 과정을 유도함으로써 더 희소한 모델을 선호하도록 합니다. 흥미롭게도, 희소성을 위한 extit{경쟁}은 진화 과정에 추가적인 국소적인 extit{인력}과 상호작용을 유발합니다. 즉, 한 경쟁자가 더 많은 0 요소를 가진 경우, 다른 경쟁자의 0이 아닌 요소들은 해당 위치를 차지하게 됩니다. 이는 희소성이 낮은 경쟁자가 다른 위치에서 더 희소한 경쟁자에게 패배하더라도 발생합니다. 제안된 파이프라인은 다양한 대규모 LLM 벤치마크에서 평가되었으며, 실험 결과는 본 접근 방식이 여러 벤치마크에서 모델 병합의 신뢰성을 향상시킬 수 있으며, 단순하고 기존의 접근 방식과 독립적이기 때문에 쉽게 통합될 수 있음을 보여줍니다.

We propose a sparsity-aware evolutionary (SAE) framework for model merging that involves iterative pruning-merging cycles to act as a novel mutation operator. We incorporate the sparsity constraints into the score function, which steers the evolutionary process to favor more sparse models, in addition to other conventional performance scores. Interestingly, the by-product of \textit{competition} for sparsity introduces an extra local \textit{attraction} and interplay into the evolutionary process: if one competitor has more zero elements, the other competitor's non-zero elements will occupy those positions, even though the less sparse competitor loses to the more sparse competitor in other positions. The proposed pipeline is evaluated on a variety of large-scale LLM benchmarks. Experiments demonstrate that our approach can improve model merging reliability across multiple benchmarks, and is easy to incorporate due to its simplicity and being orthogonal to most existing approaches.