NeuPAT: 신경망 기반 가소성 할당 조정 - 언어 능력 보존을 위한 다중 모드 대규모 언어 모델

NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs

대규모 언어 모델(LLM)의 다중 모드 확장은 새로운 인지 능력을 가능하게 하지만, 사전 훈련 과정에서 얻은 언어 지능이 저하되는 경향이 있습니다. 본 연구에서는 이러한 현상을 내부 적응 역학의 관점에서 분석하고, 사전 훈련된 LLM의 뉴런들이 다중 모드 학습 동안 이질적인 가소성을 나타낸다는 사실을 발견했습니다. 일부 뉴런은 언어 능력을 유지하는 데 중요한 역할을 하는 반면, 다른 뉴런은 다중 모드 지식에 더 쉽게 적응합니다. 이러한 통찰력을 바탕으로, 본 연구에서는 NeuPAT (Neuron-aware Plasticity Allocation Tuning)라는 경량화되고 구조에 독립적인 프레임워크를 제안합니다. NeuPAT는 다중 모드 명령어 튜닝 과정에서 뉴런 단위의 업데이트 제약을 할당하며, 작은 규모의 탐색 단계를 통해 뉴런의 적응 패턴을 추정하고, 언어에 민감한 뉴런은 보호하는 동시에 더 높은 가소성을 가진 뉴런을 통해 다중 모드 적응을 촉진합니다. 다양한 LLM 모델군에 대한 실험 결과, NeuPAT는 기존 튜닝 방식에서 발생하는 언어 능력 저하의 94.5%를 회복하면서도, 다중 모드 성능은 유지하며, 능력을 보존하는 다중 모드 확장을 위한 효과적인 접근 방식을 제공합니다.

Multimodal expansion of large language models (LLMs) enables new perceptual capabilities but often compromises the language intelligence acquired during pretraining. In this work, we investigate this phenomenon from the perspective of internal adaptation dynamics and discover that neurons in pretrained LLMs exhibit heterogeneous plasticity during multimodal learning: some neurons are critical for preserving language capabilities, while others are more adaptive to multimodal knowledge. Based on this insight, we propose NeuPAT (Neuron-aware Plasticity Allocation Tuning), a lightweight and architecture-agnostic framework that allocates neuron-wise update constraints during multimodal instruction tuning. NeuPAT uses a small-scale probing stage to estimate neuron adaptation patterns and selectively protects language-sensitive neurons while promoting multimodal adaptation through more plastic neurons. Experiments across diverse LLM families demonstrate that NeuPAT recovers 94.5\% of the language capability degradation caused by vanilla tuning on 11 language benchmarks while maintaining comparable multimodal performance, providing an effective approach for capability-preserving multimodal expansion.