모듈화된 파라미터 로컬라이제이션을 통한 능력 전이 및 복구

Ability Transfer and Recovery via Modularized Parameters Localization

대규모 언어 모델(LLM)은 특정 도메인, 언어 또는 기술에서의 성능을 향상시키기 위해 지속적으로 사전 훈련되거나 미세 조정될 수 있지만, 이러한 전문화는 종종 다른 능력을 저하시키고 재앙적 망각을 초래할 수 있습니다. 본 연구에서는 관련 모델에 대한 도메인 및 언어별 입력 하에서의 모듈 활성화를 분석하여 LLM 파라미터 내에서 능력이 어떻게 분포되어 있는지 조사합니다. 층과 모듈에 걸쳐, 능력과 관련된 활성화는 일반적으로 소수의 채널(대략 5% 미만)에 매우 집중되어 있으며, 이러한 채널은 높은 충분성과 안정성을 갖춘 방식으로 분리되어 있습니다. 이러한 관찰을 바탕으로, 활성화 차이를 통해 능력과 관련된 채널을 로컬라이징하고, 해당 파라미터만 선택적으로 전송한 후, 호환성을 위한 경량 미세 조정을 수행하는 ACT(Activation-Guided Channel-wise Ability Transfer)를 제안합니다. 다국어 수학 및 과학 추론에 대한 실험 결과, ACT는 잊혀진 능력을 복구하면서 유지된 기술을 보존할 수 있음을 보여줍니다. 또한, ACT는 여러 개의 전문화된 모델을 병합하여, 최소한의 간섭으로 여러 능력을 하나의 모델로 통합할 수 있습니다. 저희의 코드와 데이터는 공개될 예정입니다.

Large language models can be continually pre-trained or fine-tuned to improve performance in specific domains, languages, or skills, but this specialization often degrades other capabilities and may cause catastrophic forgetting. We investigate how abilities are distributed within LLM parameters by analyzing module activations under domain- and language-specific inputs for closely related models. Across layers and modules, we find that ability-related activations are highly concentrated in a small set of channels (typically <5\%), and these channels are largely disentangled with good sufficiency and stability. Building on these observations, we propose ACT (Activation-Guided Channel-wise Ability Transfer), which localizes ability-relevant channels via activation differences and selectively transfers only the corresponding parameters, followed by lightweight fine-tuning for compatibility. Experiments on multilingual mathematical and scientific reasoning show that ACT can recover forgotten abilities while preserving retained skills. It can also merge multiple specialized models to integrate several abilities into a single model with minimal interference. Our code and data will be publicly released.