LLUMI: 온라인 커뮤니티 피드백을 활용하여 LLM의 정신 건강 지원 글쓰기 보조 기능을 개선하는 방법

LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback

대규모 언어 모델(LLM)은 정신 건강 관련 질문에 대한 지지적인 답변을 생성하는 데 잠재력을 보여주지만, 그 유용성, 공감 능력 및 안전성을 향상시키는 것은 상당한 컴퓨팅 자원, 전문가의 의견 및 레이블이 지정된 데이터가 필요합니다. 동시에, 정신 건강 관련 상호 작용에 독점적이고 클라우드 기반 모델을 배포하는 것은 민감한 정보를 다루는 특성상 중요한 개인 정보 보호 및 데이터 거버넌스 문제를 야기합니다. 이러한 과제를 해결하기 위해, 본 연구에서는 보호된 환경 내에서 자체 호스팅이 가능한 LLUMI 시스템을 소개합니다. LLUMI는 두 가지 상호 보완적인 구성 요소로 이루어집니다. 첫째, 정신 건강 관련 질문에 대한 지지적인 답변 초안을 생성하는 생성 모델(GM)과 둘째, 인간이 작성한 초기 응답을 수정하는 개선 모델(IM)입니다. 우리는 Reddit의 정신 건강 커뮤니티에서 얻은 피드백 신호를 활용하여, 좋아요 및 싫어요와 같은 커뮤니티 지지 패턴을 이용하여 지도 학습 미세 조정(SFT) 및 직접 선호도 최적화(DPO)를 위한 선택/거부 응답 쌍을 구성합니다. 또한, LLUMI는 가독성, 공감 능력, 소통, 실용성 및 안전성을 포함한 다섯 가지 측면에서 인간 평가를 통해 추가적으로 조정되었습니다. 우리의 결과는 독점적인 클라우드 기반 GPT 모델보다는 더 작은 오픈소스 모델에 의존했음에도 불구하고, LLUMI가 언어 분석 및 인간 평가 모두에서 유사한 성능을 달성한다는 것을 보여줍니다. 이러한 결과는 커뮤니티에서 얻은 선호도 신호로 학습된 오픈소스 모델이 고품질의 정신 건강 지원을 제공할 수 있으며, 민감한 지원 상황에 대한 더욱 개인 정보 보호적인 대안을 제공할 수 있음을 시사합니다.

Large language models (LLMs) show promise in generating supportive responses for mental health queries, but improving their usefulness, empathy, and safety often requires substantial compute, expert input, and labeled data. At the same time, deploying proprietary, cloud-based models for mental health-related interactions raises important privacy and data-governance concerns, given the sensitivities. To address this challenge, we introduce LLUMI setup that can be hosted in-house within protected environments. LLUMI consists of two complementary components: a generation model (GM), which drafts supportive responses to mental health queries, and an improvement model (IM), which revises an initial human-crafted response. We leverage feedback signals from Reddit mental health communities, using community endorsement patterns such as upvotes and downvotes to construct chosen-rejected response pairs for Supervised Fine Tuning (SFT) and Direct Preference Optimization (DPO). We further align LLUMI using human evaluation across five dimensions: readability, empathy, connection, actionability, and safety. Our results show that, despite relying on smaller open-source models rather than proprietary cloud-based GPT models, LLUMI achieves comparable performance across linguistic analyses and human evaluations. These findings suggest that open-source models, when trained with community-derived preference signals, can support high-quality mental health support assistance while offering a more privacy-preserving alternative for sensitive support contexts.