다중 작업 프롬프트 증류 및 분해를 통한 매개변수 효율적인 전이 학습: 임상 자연어 처리

A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP

기존의 프롬프트 기반 미세 조정 방법은 일반적으로 각 작업에 특화된 프롬프트를 독립적으로 학습하며, 이는 여러 임상 자연어 처리(NLP) 시스템을 배포할 때 상당한 계산 및 저장 오버헤드를 발생시킵니다. 본 연구에서는 21개의 다양한 임상 데이터셋에서 단일 공유 메타 프롬프트를 학습하고, 이를 0.05% 미만의 학습 가능한 매개변수로 새로운 대상 작업에 적용하는 다중 작업 프롬프트 증류 및 분해 프레임워크를 제안합니다. LLaMA 3.1 8B, Meditron3 8B, gpt-oss 20B 세 가지 모델을 사용하여 10개의 보류 데이터셋에 대해 5가지 임상 NLP 작업 유형(개체명 인식, 관계 추출, 질문 답변, 자연어 추론, 요약)을 평가한 결과, 본 프레임워크는 훨씬 적은 매개변수를 사용하면서도 LoRA보다 1.5~1.7% 더 나은 성능을 보였고, 단일 작업 프롬프트 튜닝보다 6.1~6.6% 더 높은 성능을 달성했습니다. 특히, gpt-oss 20B 모델은 전반적으로 가장 높은 성능을 보였으며, 특히 임상 추론 작업에서 뛰어난 성능을 나타냈습니다. 이러한 우수한 제로샷 및 퓨샷 성능은 공유된 프롬프트 표현의 더 나은 일반화 가능성을 보여줍니다.

Existing prompt-based fine-tuning methods typically learn task-specific prompts independently, imposing significant computing and storage overhead at scale when deploying multiple clinical natural language processing (NLP) systems. We present a multitask prompt distillation and decomposition framework that learns a single shared metaprompt from 21 diverse clinical source tasks and adapts it to unseen target tasks with fewer than 0.05% trainable parameters. Evaluated across five clinical NLP task types (named entity recognition, relation extraction, question answering, natural language inference, and summarization) on 10 held-out target datasets using three backbone models (LLaMA 3.1 8B, Meditron3 8B, gpt-oss 20B), our framework consistently outperforms LoRA by 1.5~1.7% despite using orders of magnitude fewer parameters, and exceeds single-task prompt tuning by 6.1~6.6%. The gpt-oss 20B model achieves the highest overall performance, particularly on clinical reasoning tasks. The strong zero- and few-shot performance demonstrates better transferability of the shared prompt representation.