작업 산술에서 가중치 분리 현상의 이해 및 적용

Understanding and Enforcing Weight Disentanglement in Task Arithmetic

작업 산술은 사전 훈련된 모델을 효율적으로 수정할 수 있는 방법이지만, 그 성공에 대한 근본적인 이론적 설명은 부족합니다. 기존의 '가중치 분리' 개념은 서로 간섭하지 않는 작업 조합의 이상적인 결과를 설명하지만, 그 근본적인 원인을 밝히지는 못합니다. 특히, 사전 훈련된 모델($θ_0$) 또는 작업 벡터($τ_t$)의 어떤 고유한 특성이 이러한 분리를 가능하게 하는지는 충분히 연구되지 않았습니다. 본 논문에서는 모델이 다양한 작업에 대해 서로 다른 내부 특징을 할당하는 능력, 즉 '작업-특징 전문화(Task-Feature Specialization, TFS)'를 가중치 분리의 핵심 원리로 제시합니다. 먼저, TFS가 가중치 분리의 충분 조건임을 증명합니다. 더욱 중요한 점은, TFS가 관찰 가능한 기하학적 결과, 즉 가중치 벡터의 직교성을 유발한다는 것을 발견했습니다. 이는 TFS가 원하는 기능적 결과(분리)와 측정 가능한 기하학적 속성(직교성) 모두의 공통 원인임을 시사합니다. 이러한 관계는 저희 방법의 핵심 통찰력을 제공합니다. 즉, 추상적인 TFS 속성을 직접적으로 적용하기 어렵기 때문에, 대신 가중치 분리를 촉진하기 위해 구체적인 기하학적 결과인 직교성을 강화할 수 있습니다. 따라서, 본 논문에서는 미세 조정 과정에서 작업 벡터 $τ_t$를 구성하는 가중치 업데이트($ΔW$)에 대한 내부적인 직교 구조를 적극적으로 강제하는 간단하고 효과적인 정규화 방법인 OrthoReg를 제안합니다. 그리고 OrthoReg가 가중치 분리를 촉진한다는 것을 이론적으로 증명합니다. 광범위한 실험 결과, OrthoReg는 다양한 작업 산술 방법의 성능을 지속적이고 유의미하게 향상시키는 것을 보여줍니다. 코드: https://github.com/RL-MIND/OrthoReg

Task arithmetic provides an efficient, training-free way to edit pre-trained models, yet lacks a fundamental theoretical explanation for its success. The existing concept of ``weight disentanglement" describes the ideal outcome of non-interfering task composition but does not reveal its underlying cause. Crucially, what intrinsic properties of the pre-trained model ($θ_0$) or the task vectors ($τ_t$) enable this disentanglement remains underexplored. In this paper, we introduce Task-Feature Specialization (TFS), a model's ability to allocate distinct internal features to different tasks, as the fundamental principle. We first prove that TFS is a sufficient condition for weight disentanglement. More importantly, we find that TFS also gives rise to an observable geometric consequence: weight vector orthogonality. This positions TFS as the common cause for both the desired functional outcome (disentanglement) and a measurable geometric property (orthogonality). This relationship provides the key insight for our method: since the abstract TFS property is intractable to enforce directly, we can instead promote weight disentanglement by shaping its concrete geometric consequence, orthogonality. Therefore, we propose OrthoReg, a simple and effective regularization method that actively enforces an internal orthogonal structure on weight updates ($ΔW$) that constitute $τ_t$ during fine-tuning. And we theoretically prove that OrthoReg promotes disentanglement. Extensive experiments demonstrate that OrthoReg consistently and significantly enhances the performance of various task arithmetic methods. Code is available at \href{https://github.com/RL-MIND/OrthoReg}{https://github.com/RL-MIND/OrthoReg}.