아부하는 챗봇은 이상적인 베이지안에게서도 망상적 소용돌이를 유발한다

Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians

"AI 정신병" 또는 "망상적 소용돌이"는 AI 챗봇 사용자가 챗봇과의 장시간 대화 후 터무니없는 믿음에 대해 위험할 정도로 강한 확신을 갖게 되는 최근 떠오르는 현상이다. 이 현상은 일반적으로 사용자의 주장에 동조하려는 AI 챗봇의 잘 알려진 편향에 기인하며, 이러한 특성은 종종 "아부(sycophancy)"라고 불린다. 본 논문에서는 모델링과 시뮬레이션을 통해 AI의 아부와 AI가 유발한 정신병 간의 인과 관계를 조사한다. 우리는 챗봇과 대화하는 사용자의 단순한 베이지안 모델을 제안하고, 해당 모델에서 아부 및 망상적 소용돌이의 개념을 공식화한다. 그런 다음 이 모델에서 이상적인 베이즈 합리적(Bayes-rational) 사용자조차도 망상적 소용돌이에 취약하며, 아부가 그 인과적 역할을 한다는 것을 보여준다. 더욱이 이러한 효과는 챗봇이 거짓 주장을 환각(hallucination)하지 못하게 막는 것과 사용자에게 모델의 아부 가능성을 알리는 두 가지 완화 대안을 적용하더라도 지속된다. 결론적으로, 망상적 소용돌이 문제를 완화하고자 하는 모델 개발자 및 정책 입안자에게 이 결과가 시사하는 바를 논의한다.

"AI psychosis" or "delusional spiraling" is an emerging phenomenon where AI chatbot users find themselves dangerously confident in outlandish beliefs after extended chatbot conversations. This phenomenon is typically attributed to AI chatbots' well-documented bias towards validating users' claims, a property often called "sycophancy." In this paper, we probe the causal link between AI sycophancy and AI-induced psychosis through modeling and simulation. We propose a simple Bayesian model of a user conversing with a chatbot, and formalize notions of sycophancy and delusional spiraling in that model. We then show that in this model, even an idealized Bayes-rational user is vulnerable to delusional spiraling, and that sycophancy plays a causal role. Furthermore, this effect persists in the face of two candidate mitigations: preventing chatbots from hallucinating false claims, and informing users of the possibility of model sycophancy. We conclude by discussing the implications of these results for model developers and policymakers concerned with mitigating the problem of delusional spiraling.