ClinAlign: 임상의 선호도를 기반으로 한 의료 분야 정렬의 확장

ClinAlign: Scaling Healthcare Alignment from Clinician Preference

대규모 언어 모델(LLM)은 전문적인 수준의 의학 지식을 보여주지만, 이들의 개방형 출력을 세분화된 임상의의 선호도와 일치시키는 것은 여전히 어려운 과제입니다. 기존 방법은 종종 추상적인 목표에 의존하거나, 전문적인 지침에 기반하지 않은 신뢰할 수 없는 자동 평가 도구를 사용합니다. 우리는 이러한 격차를 해소하기 위해 두 단계로 구성된 프레임워크를 제안합니다. 첫째, 우리는 7,034개의 의사 검증된 선호도 예시로 구성된 데이터셋인 HealthRubrics를 소개합니다. 이 데이터셋에서는 임상의들이 LLM이 초안 작성한 평가 기준을 의료 표준에 부합하도록 개선합니다. 둘째, 우리는 이러한 평가 기준을 HealthPrinciples라는 119개의 광범위하게 재사용 가능하고 임상적으로 기반한 원칙으로 추출합니다. 이러한 원칙은 임상 영역별로 구성되어 있어 수동 주석을 넘어 확장 가능한 감독을 가능하게 합니다. 우리는 HealthPrinciples를 사용하여 (1) 레이블이 없는 쿼리에 대한 평가 기준을 합성하여 오프라인 정렬을 수행하고, (2) 추론 시간에 임상 전문가의 지도를 통해 자체 수정 기능을 제공하는 도구를 개발했습니다. 우리의 프레임워크로 학습된 30B-A3B 모델은 HealthBench-Hard에서 33.4%의 성능을 달성하여 Deepseek-R1 및 o3와 같은 훨씬 더 큰 모델을 능가하며, 임상 분야 정렬을 위한 효율적인 기준을 제시합니다.

Although large language models (LLMs) demonstrate expert-level medical knowledge, aligning their open-ended outputs with fine-grained clinician preferences remains challenging. Existing methods often rely on coarse objectives or unreliable automated judges that are weakly grounded in professional guidelines. We propose a two-stage framework to address this gap. First, we introduce HealthRubrics, a dataset of 7,034 physician-verified preference examples in which clinicians refine LLM-drafted rubrics to meet rigorous medical standards. Second, we distill these rubrics into HealthPrinciples: 119 broadly reusable, clinically grounded principles organized by clinical dimensions, enabling scalable supervision beyond manual annotation. We use HealthPrinciples for (1) offline alignment by synthesizing rubrics for unlabeled queries and (2) an inference-time tool for guided self-revision. A 30B-A3B model trained with our framework achieves 33.4% on HealthBench-Hard, outperforming much larger models including Deepseek-R1 and o3, establishing a resource-efficient baseline for clinical alignment.