의료 환경에서 신뢰할 수 있는 예측 모델 구축: 뇌파(EEG) 분류 사례 연구

Making Conformal Predictors Robust in Healthcare Settings: a Case Study on EEG Classification

임상 예측에서 불확실성을 정량화하는 것은 중요한 진단 작업에 필수적입니다. 컨포멀 예측은 이론적인 보장성을 갖춘 예측 집합을 제공하여 체계적인 접근 방식을 제공합니다. 그러나 실제 환경에서는 환자 데이터 분포의 변화로 인해 표준 컨포멀 방법의 기본 가정인 독립적이고 동일한 분포(i.i.d.)가 위배되어 의료 환경에서 예측 정확도가 저하될 수 있습니다. 본 연구에서는 뇌파(EEG) 발작 분류라는, 데이터 분포의 변화와 라벨 불확실성 문제가 잘 알려진 작업에 대해 다양한 컨포멀 예측 방법을 평가했습니다. 개인 맞춤형 보정 전략을 사용하면 예측 집합 크기를 유지하면서도 예측 정확도를 20% 이상 향상시킬 수 있음을 확인했습니다. 저희의 구현은 오픈 소스 의료 AI 프레임워크인 PyHealth를 통해 제공됩니다: https://github.com/sunlabuiuc/PyHealth.

Quantifying uncertainty in clinical predictions is critical for high-stakes diagnosis tasks. Conformal prediction offers a principled approach by providing prediction sets with theoretical coverage guarantees. However, in practice, patient distribution shifts violate the i.i.d. assumptions underlying standard conformal methods, leading to poor coverage in healthcare settings. In this work, we evaluate several conformal prediction approaches on EEG seizure classification, a task with known distribution shift challenges and label uncertainty. We demonstrate that personalized calibration strategies can improve coverage by over 20 percentage points while maintaining comparable prediction set sizes. Our implementation is available via PyHealth, an open-source healthcare AI framework: https://github.com/sunlabuiuc/PyHealth.