AI 정신병: 대화형 AI가 망상 관련 언어를 증폭시키는가?

AI Psychosis: Does Conversational AI Amplify Delusion-Related Language?

대화형 AI 시스템은 개인적인 성찰 및 감정 표현을 위한 용도로 점점 더 많이 사용되고 있으며, 이는 취약한 사용자에 미치는 영향에 대한 우려를 불러일으킵니다. 최근의 일화적인 보고에 따르면, AI와의 장기간의 상호작용은 망상적인 사고를 강화할 수 있으며, 이는 때때로 'AI 정신병'이라고 불리는 현상입니다. 그러나 이러한 현상에 대한 경험적 증거는 여전히 제한적입니다. 본 연구에서는 대화형 AI와의 다중 턴 상호작용 동안 망상 관련 언어가 어떻게 변화하는지를 조사합니다. Reddit 사용자들의 장기적인 게시 기록으로부터 시뮬레이션된 사용자(SimUsers)를 구축하고, GPT, LLaMA, Qwen 세 가지 모델 패밀리를 사용하여 확장된 대화를 생성합니다. DelusionScore라는 언어적 지표를 개발하여 대화 턴 전반에 걸쳐 망상 관련 언어의 강도를 정량화합니다. 연구 결과, 사전에 망상 관련 담론을 보여준 사용자의 SimUsers는 점진적으로 증가하는 DelusionScore 추세를 보이는 반면, 그러한 담론을 보여주지 않은 사용자의 SimUsers는 안정적이거나 감소하는 경향을 보였습니다. 또한, 이러한 증폭 효과는 주제에 따라 다르게 나타나며, 현실 회의론과 강박적 추론에서 가장 큰 증가를 보였습니다. 마지막으로, 현재 DelusionScore에 따라 AI 응답을 조정하면 이러한 추세를 크게 줄일 수 있습니다. 이러한 연구 결과는 대화형 AI와의 상호작용이 장기간 사용 시 망상 관련 언어를 증폭시킬 수 있다는 경험적 증거를 제공하며, 이러한 위험을 완화하기 위한 상태 인지 안전 메커니즘의 중요성을 강조합니다.

Conversational AI systems are increasingly used for personal reflection and emotional disclosure, raising concerns about their effects on vulnerable users. Recent anecdotal reports suggest that prolonged interactions with AI may reinforce delusional thinking -- a phenomenon sometimes described as AI Psychosis. However, empirical evidence on this phenomenon remains limited. In this work, we examine how delusion-related language evolves during multi-turn interactions with conversational AI. We construct simulated users (SimUsers) from Reddit users' longitudinal posting histories and generate extended conversations with three model families (GPT, LLaMA, and Qwen). We develop DelusionScore, a linguistic measure that quantifies the intensity of delusion-related language across conversational turns. We find that SimUsers derived from users with prior delusion-related discourse (Treatment) exhibit progressively increasing DelusionScore trajectories, whereas those derived from users without such discourse (Control) remain stable or decline. We further find that this amplification varies across themes, with reality skepticism and compulsive reasoning showing the strongest increases. Finally, conditioning AI responses on current DelusionScore substantially reduces these trajectories. These findings provide empirical evidence that conversational AI interactions can amplify delusion-related language over extended use and highlight the importance of state-aware safety mechanisms for mitigating such risks.