Health-SCORE: 의료용 LLM 개선을 위한 확장 가능한 루브릭을 향하여

Health-SCORE: Towards Scalable Rubrics for Improving Health-LLMs

루브릭은 개방형 LLM 응답을 평가하는 데 필수적이며, 특히 헬스케어와 같이 안전이 중요한 도메인에서는 더욱 그렇습니다. 그러나 고품질의 도메인 특화 루브릭을 생성하는 데는 일반적으로 상당한 수준의 인간 전문 지식과 시간, 개발 비용이 소요되어 루브릭 기반 평가 및 훈련을 확장하기 어렵게 만듭니다. 본 연구에서는 성능 저하 없이 루브릭 개발 비용을 대폭 절감할 수 있는 일반화 및 확장 가능한 루브릭 기반 훈련 및 평가 프레임워크인 Health-SCORE를 소개합니다. 우리는 Health-SCORE가 단순한 평가 기능을 넘어 두 가지 실질적인 이점을 제공함을 보여줍니다. 첫째, 안전을 고려한 감독(safety-aware supervision)을 통해 강화 학습을 가이드하는 구조화된 보상 신호로 사용될 수 있으며, 둘째, 인컨텍스트 러닝(in-context learning)을 통해 응답 품질을 향상시키기 위해 프롬프트에 직접 통합될 수 있습니다. 개방형 헬스케어 과제 전반에서 Health-SCORE는 개발 노력을 크게 줄이면서도 인간이 작성한 루브릭과 대등한 평가 품질을 달성하여, 루브릭 기반 평가 및 훈련의 확장성을 높여줍니다.

Rubrics are essential for evaluating open-ended LLM responses, especially in safety-critical domains such as healthcare. However, creating high-quality and domain-specific rubrics typically requires significant human expertise time and development cost, making rubric-based evaluation and training difficult to scale. In this work, we introduce Health-SCORE, a generalizable and scalable rubric-based training and evaluation framework that substantially reduces rubric development costs without sacrificing performance. We show that Health-SCORE provides two practical benefits beyond standalone evaluation: it can be used as a structured reward signal to guide reinforcement learning with safety-aware supervision, and it can be incorporated directly into prompts to improve response quality through in-context learning. Across open-ended healthcare tasks, Health-SCORE achieves evaluation quality comparable to human-created rubrics while significantly lowering development effort, making rubric-based evaluation and training more scalable.