RubRIX: 잣대 기반 위험 완화 - 돌봄 제공자와 AI 상호작용에서의 위험 관리

RubRIX: Rubric-Driven Risk Mitigation in Caregiver-AI Interactions

AI를 통해 지원을 받는 돌봄 제공자는 정보 획득, 정서적 공감, 그리고 고통 신호 등 복잡한 요구를 표현하며, 이에 대한 응답의 안전성과 적절성을 신중하게 평가해야 합니다. 기존의 AI 평가 프레임워크는 주로 일반적인 위험(유해성, 환각, 정책 위반 등)에 초점을 맞추고 있어, 돌봄 맥락에서의 LLM 응답이 가진 미묘한 위험을 충분히 포착하지 못할 수 있습니다. 본 연구에서는 이론에 기반하고 임상 전문가의 검증을 거친, LLM 돌봄 응답의 위험을 평가하는 프레임워크인 RubRIX (Rubric-based Risk Index)를 소개합니다. RubRIX는 '돌봄 윤리의 요소'에 근거하여, 경험적으로 도출된 다섯 가지 위험 차원, 즉 '무관심', '편향 및 낙인', '정보 부정확성', '비판적 사고 결여', 그리고 '인지적 오만'을 구체화합니다. 본 연구에서는 Reddit과 ALZConnected에서 수집한 2만 건 이상의 돌봄 제공자 질문을 사용하여, 최첨단 LLM 6개를 평가했습니다. 잣대를 기반으로 한 개선 과정을 통해, 모델별로 1회 반복 후 위험 요소가 45~98% 감소했습니다. 본 연구는 고강도 맥락에서 사용자를 중심とした, 도메인 특화형 평가 프레임워크를 개발하는 방법론적 접근 방식을 제시합니다. 연구 결과는 돌봄 지원 맥락에서 LLM을 책임감 있게 활용하기 위한, 도메인 특화적이고 상호작용 기반의 위험 평가의 중요성을 강조합니다. 또한, 향후 AI 기반 지원에서의 맥락적 위험 평가 연구를 지원하기 위해, 벤치마크 데이터셋을 공개합니다.

Caregivers seeking AI-mediated support express complex needs -- information-seeking, emotional validation, and distress cues -- that warrant careful evaluation of response safety and appropriateness. Existing AI evaluation frameworks, primarily focused on general risks (toxicity, hallucinations, policy violations, etc), may not adequately capture the nuanced risks of LLM-responses in caregiving-contexts. We introduce RubRIX (Rubric-based Risk Index), a theory-driven, clinician-validated framework for evaluating risks in LLM caregiving responses. Grounded in the Elements of an Ethic of Care, RubRIX operationalizes five empirically-derived risk dimensions: Inattention, Bias & Stigma, Information Inaccuracy, Uncritical Affirmation, and Epistemic Arrogance. We evaluate six state-of-the-art LLMs on over 20,000 caregiver queries from Reddit and ALZConnected. Rubric-guided refinement consistently reduced risk-components by 45-98% after one iteration across models. This work contributes a methodological approach for developing domain-sensitive, user-centered evaluation frameworks for high-burden contexts. Our findings highlight the importance of domain-sensitive, interactional risk evaluation for the responsible deployment of LLMs in caregiving support contexts. We release benchmark datasets to enable future research on contextual risk evaluation in AI-mediated support.