가중치 공간 모델 병합을 통한 지시 사항 준수 능력 향상을 위한 대규모 언어 모델의 파국적 망각 방지

Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging

대규모 언어 모델(LLM)은 임상의의 부담을 줄이기 위해 의료 분야의 임상 문서 작성에 활용되고 있습니다. 그러나 연구에 따르면 LLM이 작업별 의료 데이터 세트를 사용하여 미세 조정될 때, 종종 상당한 수준의 지시 사항 준수 능력을 잃어버리는데, 이는 범용 LLM을 임상 응용 분야에 적용하는 데 있어 중요한 과제입니다. 본 연구에서는 이 망각 문제를 해결하여 범용 LLM을 효율적으로 의료 분야에 적용하기 위한 모델 병합 프레임워크를 제시합니다. 본 연구는 보간법 기반 병합 방법을 사용하여 임상 기반 모델(GatorTronLlama)과 범용 지시 모델(Llama-3.1-8B-Instruct)을 병합하여, 임상 작업에서 뛰어난 성능을 보이면서도 지시 사항 준수 능력을 유지하는 도메인 맞춤형 모델을 개발하고자 합니다. 의료 벤치마크 및 방사선 보고서 작성 및 퇴원 요약 등 5가지 임상 생성 작업에 대한 종합적인 평가 결과, 병합된 모델은 파국적 망각을 효과적으로 완화하고, 임상 분야 전문성을 유지하며, 지시 사항 준수 능력을 유지할 수 있음을 보여줍니다. 또한, 본 연구의 모델 병합 전략은 효율적인 학습을 가능하게 하며, 극히 제한적인 감독(예: 64-shot vs. 256-shot) 조건에서도 완전하게 미세 조정된 모델과 동등한 성능을 달성합니다. 결과적으로, 가중치 공간 병합은 오픈 소스 LLM을 임상 응용 분야에 적용하기 위한 매우 확장 가능한 솔루션이며, 이는 자원이 제한된 의료 환경에서 광범위한 배포를 촉진합니다.

Large language models have been adopted in the medical domain for clinical documentation to reduce clinician burden. However, studies have reported that LLMs often "forget" a significant amount of instruction-following ability when fine-tuned using a task-specific medical dataset, a critical challenge in adopting general-purpose LLMs for clinical applications. This study presents a model merging framework to efficiently adapt general-purpose LLMs to the medical domain by countering this forgetting issue. By merging a clinical foundation model (GatorTronLlama) with a general instruct model (Llama-3.1-8B-Instruct) via interpolation-based merge methods, we seek to derive a domain-adapted model with strong performance on clinical tasks while retaining instruction-following ability. Comprehensive evaluation across medical benchmarks and five clinical generation tasks (e.g., radiology and discharge summarization) shows that merged models can effectively mitigate catastrophic forgetting, preserve clinical domain expertise, and retain instruction-following ability. In addition, our model merging strategies demonstrate training efficiency, achieving performance on par with fully fine-tuned baselines under severely constrained supervision (e.g., 64-shot vs. 256-shot). Consequently, weight-space merging constitutes a highly scalable solution for adapting open-source LLMs to clinical applications, facilitating broader deployment in resource-constrained healthcare environments.