Dementia-R1: 비정형 임상 기록에서 강화 학습 기반 사전 훈련 및 추론을 통한 실제 치매 예후 예측

Dementia-R1: Reinforced Pretraining and Reasoning from Unstructured Clinical Notes for Real-World Dementia Prognosis

대규모 언어 모델(LLM)은 임상 텍스트 이해에서 뛰어난 성능을 보이지만, 여러 방문에 걸친 복잡하고 비선형적인 증상 변화를 추론해야 하는 치매 예후와 같은 장기 예측에는 어려움을 겪습니다. 기존의 지도 학습 방식은 증상 변화에 대한 명시적인 주석이 부족하며, 직접적인 강화 학습(RL)은 희소한 이진 보상 때문에 제약이 있습니다. 이러한 문제를 해결하기 위해, 비정형 임상 기록으로부터 장기 치매 예후를 예측하는 강화 학습 기반 프레임워크인 Dementia-R1을 제안합니다. 저희의 접근 방식은 콜드-스타트 RL 전략을 채택하여, 환자 기록에서 추출된 검증 가능한 임상 지표를 예측하도록 모델을 사전 훈련하여, 최종 임상 상태를 결정하기 전에 질병 진행에 대한 추론 능력을 향상시킵니다. 광범위한 실험 결과, Dementia-R1은 실제 비정형 임상 데이터셋에서 77.03%의 F1 점수를 달성했습니다. 특히, ADNI 벤치마크에서 저희의 70억 매개변수 모델은 GPT-4o에 버금가는 성능을 보여주며, 변동적인 인지 경로를 효과적으로 포착합니다. 코드 및 관련 자료는 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/dementiar1-CDB5

While Large Language Models (LLMs) have shown strong performance on clinical text understanding, they struggle with longitudinal prediction tasks such as dementia prognosis, which require reasoning over complex, non-monotonic symptom trajectories across multiple visits. Standard supervised training lacks explicit annotations for symptom evolution, while direct Reinforcement Learning (RL) is hindered by sparse binary rewards. To address this challenge, we introduce Dementia-R1, an RL-based framework for longitudinal dementia prognosis from unstructured clinical notes. Our approach adopts a Cold-Start RL strategy that pre-trains the model to predict verifiable clinical indices extracted from patient histories, enhancing the capability to reason about disease progression before determining the final clinical status. Extensive experiments demonstrate that Dementia-R1 achieves an F1 score of 77.03% on real-world unstructured clinical datasets. Notably, on the ADNI benchmark, our 7B model rivals GPT-4o, effectively capturing fluctuating cognitive trajectories. Code is available at https://anonymous.4open.science/r/dementiar1-CDB5