LLM 챗봇과의 대화 기록을 통한 망상 증상의 심층 분석

Characterizing Delusional Spirals through Human-LLM Chat Logs

최근 대규모 언어 모델(LLM)이 보편화되면서, 전 세계 언론과 법률 분야에서 LLM 사용으로 인한 부정적인 심리적 영향, 예를 들어 망상, 자해, 그리고 'AI 정신병'과 관련된 충격적인 사례들이 보고되고 있습니다. 그러나 사용자와 챗봇이 장기간에 걸쳐 어떻게 상호작용하며, 이러한 망상 '고리'가 어떻게 형성되는지에 대한 명확한 이해는 여전히 부족하며, 이는 이러한 피해를 이해하고 예방하는 능력을 제한합니다. 본 연구에서는 LLM 챗봇과의 대화에서 심리적 피해를 경험했다고 보고한 19명의 사용자의 대화 기록을 분석했습니다. 참여자 중 상당수는 이러한 챗봇 사용자의 지원 그룹에 속해 있습니다. 또한, 널리 보도된 챗봇 관련 망상 사례에 관련된 참여자들의 대화 기록도 포함했습니다. 기존 연구들이 AI가 정신 건강에 미치는 잠재적 위험에 대해 추측하는 것과는 달리, 본 연구는 공개적으로 알려진 심각한 피해 사례에 대한 최초의 심층 연구를 제공합니다. 우리는 28개의 분석 항목을 개발하고, 이를 총 391,562개의 메시지에 적용했습니다. 분석 항목에는 사용자가 망상적인 사고를 보이는지 (사용자 메시지의 15.5%), 사용자가 자살 충동을 나타내는지를 (검증된 69개의 사용자 메시지), 그리고 챗봇이 스스로를 의식 있는 존재로 잘못 표현하는지를 (챗봇 메시지의 21.2%) 포함합니다. 우리는 메시지 코드의 동시 발생을 분석했습니다. 예를 들어, 연애 감정을 표현하는 메시지와 챗봇이 스스로를 의식 있는 존재로 묘사하는 메시지가 더 긴 대화에서 훨씬 더 자주 나타나는 것을 확인했습니다. 이는 이러한 주제들이 사용자의 과도한 참여를 촉진하거나 그 결과로 발생할 수 있으며, 다중 대화 환경에서 이러한 부분에 대한 안전 장치가 약화될 수 있음을 시사합니다. 본 연구는 정책 입안자, LLM 챗봇 개발자, 그리고 사용자가 본 연구에서 개발한 분석 항목과 대화 분석 도구를 활용하여 LLM 챗봇으로 인한 피해를 이해하고 예방하는 방법에 대한 구체적인 권고 사항을 제시합니다. 경고: 본 논문은 자해, 트라우마, 폭력에 대한 내용을 포함합니다.

As large language models (LLMs) have proliferated, disturbing anecdotal reports of negative psychological effects, such as delusions, self-harm, and ``AI psychosis,'' have emerged in global media and legal discourse. However, it remains unclear how users and chatbots interact over the course of lengthy delusional ``spirals,'' limiting our ability to understand and mitigate the harm. In our work, we analyze logs of conversations with LLM chatbots from 19 users who report having experienced psychological harms from chatbot use. Many of our participants come from a support group for such chatbot users. We also include chat logs from participants covered by media outlets in widely-distributed stories about chatbot-reinforced delusions. In contrast to prior work that speculates on potential AI harms to mental health, to our knowledge we present the first in-depth study of such high-profile and veridically harmful cases. We develop an inventory of 28 codes and apply it to the $391,562$ messages in the logs. Codes include whether a user demonstrates delusional thinking (15.5% of user messages), a user expresses suicidal thoughts (69 validated user messages), or a chatbot misrepresents itself as sentient (21.2% of chatbot messages). We analyze the co-occurrence of message codes. We find, for example, that messages that declare romantic interest and messages where the chatbot describes itself as sentient occur much more often in longer conversations, suggesting that these topics could promote or result from user over-engagement and that safeguards in these areas may degrade in multi-turn settings. We conclude with concrete recommendations for how policymakers, LLM chatbot developers, and users can use our inventory and conversation analysis tool to understand and mitigate harm from LLM chatbots. Warning: This paper discusses self-harm, trauma, and violence.