다중 작업 학습을 위한 필수 부분 공간 병합

Essential Subspace Merging for Multi-Task Learning

모델 병합은 동일한 사전 학습된 모델 체크포인트에서 미세 조정된 여러 모델의 기능을 단일 모델로 통합하여 다중 작업 학습을 가능하게 하는 기술입니다. 이 기술의 핵심적인 과제는 작업별 파라미터 업데이트 간의 상호 간섭입니다. 본 논문에서는 작업 업데이트에 의해 발생하는 출력 변화를 분석하고, 이러한 변화 에너지가 소수의 주요 방향으로 집중된다는 것을 관찰했습니다. 우리는 이러한 방향들이 형성하는 부분 공간을 '필수 부분 공간'이라고 명명합니다. 반면, 대부분의 나머지 방향은 작업과 관련된 에너지를 거의 포함하지 않지만, 여러 작업 업데이트에 걸쳐 누적되면 병합 과정에서 심각한 간섭을 초래할 수 있습니다. 이러한 관찰에 영감을 받아, 우리는 각 작업 업데이트를 활성화 변화의 주성분을 기준으로 분해하는 '필수 부분 공간 분해 (ESD)' 방법을 제안합니다. ESD를 기반으로, 우리는 학습이 필요 없는 정적 병합 방법인 '필수 부분 공간 병합 (ESM)'을 소개합니다. ESM은 필수 구성 요소를 직교화하고 하나의 압축된 다중 작업 모델로 융합합니다. 또한, ESM을 확장하여 학습이 필요 없는 동적 병합 방법인 'ESM++'을 제안합니다. ESM++은 작업별 잔차를 저랭크 전문가로 분해하고, 순방향 추론 과정에서 프로토타입 기반 라우팅을 통해 가장 관련성이 높은 전문가를 선택합니다. 다양한 작업 세트와 모델 크기에 대한 광범위한 실험 결과는 ESM과 ESM++이 작업 지식을 효과적으로 유지하면서도 작업 간의 간섭을 줄이는 것을 보여줍니다.

Model merging aims to enable multi-task learning by integrating the capabilities of multiple models fine-tuned from the same pre-trained checkpoint into a single model. Its core challenge is inter-task interference among task-specific parameter updates. In this paper, we analyze the output shifts induced by task updates and observe that their energy is concentrated in a small number of principal directions. We call the subspace spanned by these directions the essential subspace. In contrast, most remaining directions carry little task-relevant energy, but their accumulation across multiple task updates can cause severe interference during merging. Motivated by this observation, we propose Essential Subspace Decomposition (ESD), which decomposes each task update according to the principal components of its activation shift. Based on ESD, we introduce Essential Subspace Merging (ESM), a training-free static merging method that orthogonalizes and fuses essential components into one compact multi-task model. We further extend ESM to ESM++, a training-free dynamic merging method that decomposes task-specific residuals into low-rank experts and selects the most relevant expert through prototype-based routing during forward inference. Extensive experiments across multiple task sets and model scales demonstrate that ESM and ESM++ effectively preserves task knowledge while reducing inter-task interference.