정보 제공, 지도, 공감, 경청: LLM 돌봄 지원 역할에 대한 평가

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

언어 모델은 점점 더 많은 비공식적인 돌봄 환경에서 대화형 지원을 위해 활용되고 있으며, 이러한 상호작용은 종종 정보 검색 이상의 의미를 갖습니다. 간병인들은 정서적 위로, 지침 및 도움을 얻으면서 불확실하고 복잡한 관계 속에서 돌봄 결정을 내립니다. 그러나 대부분의 안전성 평가는 일반적인 프롬프트에 대한 모델의 행동을 평가하며, 중요한 질문은 여전히 검토되지 않았습니다: 모델의 지원 역할에 따라 안전성 프로필이 어떻게 변하는가? 우리는 사회적 지지 이론에 기반한 전문가가 검토한 네 가지 지원 역할을 정의하고, 이를 기본 조건(기본 프롬프팅) 및 검색 증강 생성 (RAG) 조건을 사용하여 비교했습니다. 우리는 세 개의 언어 모델(GPT-4o-mini, Llama-3.1-8B-Instruct, MedGemma-1.5-4b-it)을 사용하여 온라인 알츠하이머병 및 관련 치매(ADRD) 커뮤니티에서 수집된 5,000개의 실제 질문에 대해 평가했습니다. 연구 결과, LLM의 지원 역할이 상호작용 위험의 발생 빈도와 구성 모두에 체계적으로 영향을 미치는 것으로 나타났습니다. 또한, 인간 평가 연구에서는 품질과 안전성 간의 균형 문제가 발견되었습니다. 보다 직접적이고 정보 지향적인 역할은 유용성과 신뢰성이 더 높게 평가되었지만, 상호작용 위험 프로필이 높다는 점을 보여주었습니다. 우리는 약 90,000개의 지원 역할에 따른 모델 응답과 위험 정보 주석을 공개하여, LLM 기반 대화형 지원의 안전성에 대한 연구를 위한 생태학적으로 의미 있는 자료로 제공합니다.

Language models are increasingly being deployed for conversational support in informal caregiving contexts, where interactions often extend beyond information-seeking: caregivers seek emotional reassurance, guidance, and help, while navigating uncertain, relationally complex care decisions. Yet most safety evaluations assess model behavior under generic prompts, leaving a critical question unexamined: does a model's safety profile change with its support role? We study this by operationalizing four expert-reviewed support roles grounded in social support theory: Inform, Coach, Relate, and Listen, and comparing them against two baseline controls: a basic prompting condition and a retrieval-augmented generation (RAG) condition. We evaluate across three language models (GPT-4o-mini, Llama-3.1-8B-Instruct, and MedGemma-1.5-4b-it) on 5,000 real-world queries from online Alzheimer's Disease and Related Dementias (ADRD) communities. We find that the LLM's support role systematically shapes both the prevalence and composition of interactional risks. Furthermore, a human evaluation study reveals a perceived quality--safety tension: more directive, information-oriented roles are rated as more helpful and trustworthy despite exhibiting elevated interactional risk profiles. We release ~90,000 support role-conditioned model responses with risk annotations as an ecologically grounded resource for research on safer LLM-mediated conversational support.