LLM이 알츠하이머병에 대해 무엇을 알고 있는가? AD 감지를 위한 파인튜닝, 탐색 및 데이터 합성

What Do LLMs Know About Alzheimer's Disease? Fine-Tuning, Probing, and Data Synthesis for AD Detection

알츠하이머병(AD)의 신뢰성 있는 조기 진단은, 특히 레이블이 지정된 데이터의 제한적인 가용성으로 인해 어려운 과제입니다. 대규모 언어 모델(LLM)은 다양한 분야에서 강력한 전이 학습 능력을 보여주었지만, 지도 학습 기반 파인튜닝을 통해 이를 AD 분야에 적용하는 것은 아직까지는 널리 연구되지 않았습니다. 본 연구에서는 LLM을 AD 감지를 위해 파인튜닝하고, 모델 내부 표현 내에 저장된 작업 관련 정보가 어떻게 인코딩되는지 조사합니다. 트랜스포머 레이어 전반에 걸친 중간 활성화 값을 분석하기 위해 탐색 기법을 사용했으며, 파인튜닝 후 특정 단어 및 특수 마커의 탐색 값이 크게 변하는 것을 관찰했습니다. 이는 이러한 요소들이 모델의 향상된 감지 성능에 중요한 역할을 한다는 것을 시사합니다. 이러한 통찰력을 바탕으로, 작업에 적합한 특수 마커 세트를 설계하고, 이러한 마커를 활용하여 구조적으로 일관되고 진단적으로 유용한 합성 샘플을 생성하는 데이터 합성 도구로 시퀀스-투-시퀀스 모델을 학습했습니다. 생성된 데이터를 내부적으로 평가하고, 다운스트림 학습 파이프라인에 통합하여 평가했습니다.

Reliable early detection of Alzheimer's disease (AD) is challenging, particularly due to limited availability of labeled data. While large language models (LLMs) have shown strong transfer capabilities across domains, adapting them to the AD domain through supervised fine-tuning remains largely unexplored. In this work, we fine-tune an LLM for AD detection and investigate how task-relevant information is encoded within its internal representations. We employ probing techniques to analyze intermediate activations across transformer layers, and we observe that, after fine-tuning, the probing values of specific words and special markers change substantially, indicating that these elements assume a crucial role in the model's improved detection performance. Guided by this insight, we design a curated set of task-aware special markers and train a sequence-to-sequence model as a data-synthesis tool that leverages these markers to generate structurally consistent and diagnostically informative synthetic samples. We evaluate the synthesized data both intrinsically and by incorporating it into downstream training pipelines.