레거시 임상 모델을 활용한 차세대 LLM의 학습 불필요한 적응

Training-Free Adaptation of New-Generation LLMs using Legacy Clinical Models

지속적인 사전 훈련과 미세 조정을 통해 언어 모델을 임상 영역에 적용하는 것은 각 새로운 모델 세대에 대해 비용이 많이 드는 재훈련을 필요로 합니다. 본 연구에서는 기존 임상 모델을 활용하여 최첨단 범용 모델을 학습 없이 적응시키는 모델 앙상블 방식인 Cross-Architecture Proxy Tuning (CAPT)을 제안합니다. CAPT는 서로 다른 어휘를 가진 모델도 지원하며, 대조적 디코딩을 활용하여 임상적으로 관련 있는 정보를 선택적으로 주입하면서 범용 모델의 추론 능력과 유창성을 유지합니다. 6가지 임상 분류 및 텍스트 생성 작업에서, 새로운 세대의 범용 모델과 이전 세대의 임상 모델을 함께 사용하는 CAPT는 개별 모델과 최첨단 앙상블 방식(UniTE 대비 평균 +17.6%, 프록시 튜닝 대비 평균 +41.4%) 모두를 능가하는 성능을 보였습니다. 토큰 수준 분석 및 의료 전문가 사례 연구를 통해 CAPT가 임상적으로 활용 가능한 언어를 강화하고, 문맥 오류를 줄이며, 임상적 특이성을 높이는 것을 입증했습니다.

Adapting language models to the clinical domain through continued pretraining and fine-tuning requires costly retraining for each new model generation. We propose Cross-Architecture Proxy Tuning (CAPT), a model-ensembling approach that enables training-free adaptation of state-of-the-art general-domain models using existing clinical models. CAPT supports models with disjoint vocabularies, leveraging contrastive decoding to selectively inject clinically relevant signals while preserving the general-domain model's reasoning and fluency. On six clinical classification and text-generation tasks, CAPT with a new-generation general-domain model and an older-generation clinical model consistently outperforms both models individually and state-of-the-art ensembling approaches (average +17.6% over UniTE, +41.4% over proxy tuning across tasks). Through token-level analysis and physician case studies, we demonstrate that CAPT amplifies clinically actionable language, reduces context errors, and increases clinical specificity.