향상된 LoRA 병합을 위한 진화적 부정 모듈 가지치기

Evolutionary Negative Module Pruning for Better LoRA Merging

여러 개의 Low-Rank Adaptation (LoRA) 전문가 모델을 하나의 기본 모델로 병합하는 것은 효율적인 다중 작업 배포를 위한 유망한 접근 방식입니다. 기존 방법들은 가중치 보간 또는 부분 공간 정렬을 통해 간섭을 줄이려고 노력하지만, 이러한 방법들은 모든 LoRA 행렬이 병합된 모델의 성능에 긍정적으로 기여한다는 전제에 기반합니다. 본 논문에서는 현재 병합 방식의 중요한 문제점을 밝혀냅니다. 바로 $ extit{부정 모듈}$의 존재입니다. 부정 모듈은 특정 LoRA 레이어로, 병합 과정에서 전체 성능을 저하시키는 요인입니다. 우리는 $ extbf{E}$volutionary $ extbf{N}$egative $ extbf{M}$odule $ extbf{P}$runing ($ extbf{ENMP}$)이라는, 플러그 앤 플레이 방식으로 LoRA 모델의 가지치기를 수행하여 이러한 유해한 모듈을 식별하고 병합 전에 제거하는 방법을 제안합니다. ENMP는 진화적 탐색 전략을 활용하여 모듈 선택의 이산적이고 미분 불가능한 공간을 효과적으로 탐색하여 최적의 가지치기 구성을 찾습니다. 광범위한 실험 결과는 ENMP가 기존 병합 알고리즘의 성능을 꾸준히 향상시키며, 언어 및 비전 분야 모두에서 새로운 최고 성능을 달성한다는 것을 보여줍니다. 코드는 https://github.com/CaoAnda/ENMP-LoRAMerging 에서 확인할 수 있습니다.

Merging multiple Low-Rank Adaptation (LoRA) experts into a single backbone is a promising approach for efficient multi-task deployment. While existing methods strive to alleviate interference via weight interpolation or subspace alignment, they rest upon the implicit assumption that all LoRA matrices contribute constructively to the merged model. In this paper, we uncover a critical bottleneck in current merging paradigms: the existence of $\textit{negative modules}$ -- specific LoRA layers that inherently degrade global performance upon merging. We propose $\textbf{E}$volutionary $\textbf{N}$egative $\textbf{M}$odule $\textbf{P}$runing ($\textbf{ENMP}$), a plug-and-play LoRA pruning method to locate and exclude these detrimental modules prior to merging. By leveraging an evolutionary search strategy, ENMP effectively navigates the discrete, non-differentiable landscape of module selection to identify optimal pruning configurations. Extensive evaluations demonstrate that ENMP consistently boosts the performance of existing merging algorithms, achieving a new state-of-the-art across both language and vision domains. Code is available at https://github.com/CaoAnda/ENMP-LoRAMerging.