MemSFT: 외부 매개변수 메모리를 활용하여 정렬 비용을 완화하는 방법

MemSFT: Mitigating Alignment Tax with an External Parametric Memory

대규모 언어 모델(LLM)을 특정 도메인에 맞게 조정할 때, 도메인별 작업에 대한 미세 조정을 수행하면 기존 성능이 저하되고 일반적인 작업에서의 성능이 크게 감소하는 '정렬 비용' 문제가 발생합니다. 본 연구에서는 MemSFT라는 새로운 방법을 제안하며, 이는 플러그 앤 플레이 방식의 매개변수 메모리를 사용하여 도메인 특화와 핵심 모델 파라미터 업데이트를 분리함으로써 정렬 비용을 완화합니다. 이 메모리는 도메인 데이터에 대한 비매개변수 검색기의 동작을 모방하도록 학습되어, 검색을 통해 접근해야 할 지식과 패턴을 저장합니다. 특정 도메인에서 학습된 메모리는 다양한 크기의 LLM에서 재사용할 수 있습니다. 생성 과정에서, 학습된 라우터는 각 디코딩 단계에서 메모리와 핵심 모델의 출력 분포를 동적으로 결합하여, 필요에 따라 도메인 전문 지식을 선택적으로 활용합니다. 생물학, 지구과학 및 법률 분야에서의 실험 결과, Qwen3-8B부터 Qwen3-235B-A22B까지 다양한 크기의 모델을 사용하여 평가한 결과, MemSFT는 일반적인 성능 저하 없이 도메인 성능을 꾸준히 향상시키는 것으로 나타났습니다. 반면, 전체 SFT(Supervised Fine-Tuning) 방식은 일반 작업에서 심각한 망각 현상을 보입니다. 종합적으로 볼 때, 본 연구의 결과는 일반 모델 기능과 도메인별 지식을 파라미터 수준에서 분리하는 실용적인 방법을 제시하며, LLM이 기존의 일반적인 기능을 유지하면서도 새로운 전문적인 능력을 갖추도록 합니다.

Adapting Large Language Models (LLMs) to specialized domains often incurs an alignment tax, as fine-tuning on domain-specific tasks can cause catastrophic forgetting and substantially degrade performance on general tasks. We propose MemSFT, which mitigates the alignment tax by decoupling domain specialization from backbone parameter updates through a plug-and-play parametric memory. The memory is trained to imitate the behavior of a non-parametric retriever operating over domain data, thereby memorizing knowledge and patterns that would otherwise be accessed through retrieval. Once trained on a specific domain, the memory can be reused across LLMs of different sizes. During generation, a learned router dynamically fuses the output distributions of the memory and backbone at each decoding step, allowing domain expertise to be invoked selectively. Across biology, geoscience, and law, evaluations with models ranging from Qwen3-8B to Qwen3-235B-A22B show that MemSFT consistently improves domain performance with negligible degradation in general performance, whereas full SFT suffers severe forgetting on general tasks. Overall, our results demonstrate a practical path to decoupling general model capabilities from domain-specific knowledge at the parameter level, thereby equipping LLMs with new specialized capabilities without compromising their general capabilities.