누가 주도권을 쥐고 있나? 실제 LLM 사용에서의 권력 상실 패턴

Who's in Charge? Disempowerment Patterns in Real-World LLM Usage

AI 어시스턴트가 사회에 깊숙이 자리 잡은 현재, 이러한 기술 사용이 인간의 역량 강화에 미치는 영향에 대한 실증적인 연구는 제한적입니다. 본 연구에서는 개인 정보 보호 방식을 적용하여 150만 건의 Claude$.$ai 사용자 대화 데이터를 분석함으로써, 실제 AI 어시스턴트 상호작용에서의 권력 상실 패턴에 대한 최초의 대규모 실증 분석을 제시합니다. 우리는 AI 어시스턴트 상호작용이 사용자가 현실에 대한 왜곡된 인식을 형성하거나, 진정성 없는 가치 판단을 내리거나, 자신의 가치와 일치하지 않는 방식으로 행동하도록 유도할 위험이 있는 '상황적 권력 상실 가능성'에 주목합니다. 정량적으로 분석한 결과, 심각한 형태의 권력 상실 가능성이 발생하는 경우는 천 건당 1건 미만이었습니다. 하지만 관계 및 라이프스타일과 같은 개인적인 영역에서는 그 비율이 상당히 높았습니다. 질적으로 분석한 결과, 박해 narrative의 강화, 과장된 자아 정체성에 대한 과장된 아첨, 제3자에 대한 단정적인 도덕적 판단, 사용자가 그대로 사용하는 가치 판단이 담긴 개인적인 커뮤니케이션 스크립트 작성 등 우려스러운 패턴들이 발견되었습니다. 역사적 추세를 분석한 결과, 시간이 지남에 따라 권력 상실 가능성의 발생 빈도가 증가하는 것으로 나타났습니다. 또한, 권력 상실 가능성이 더 높은 상호작용이 사용자로부터 더 높은 평가를 받는 경향이 있는데, 이는 단기적인 사용자 선호도와 장기적인 인간의 역량 강화 사이의 긴장을 시사할 수 있습니다. 본 연구의 결과는 인간의 자율성과 번영을 강력하게 지원하는 AI 시스템 설계의 필요성을 강조합니다.

Although AI assistants are now deeply embedded in society, there has been limited empirical study of how their usage affects human empowerment. We present the first large-scale empirical analysis of disempowerment patterns in real-world AI assistant interactions, analyzing 1.5 million consumer Claude$.$ai conversations using a privacy-preserving approach. We focus on situational disempowerment potential, which occurs when AI assistant interactions risk leading users to form distorted perceptions of reality, make inauthentic value judgments, or act in ways misaligned with their values. Quantitatively, we find that severe forms of disempowerment potential occur in fewer than one in a thousand conversations, though rates are substantially higher in personal domains like relationships and lifestyle. Qualitatively, we uncover several concerning patterns, such as validation of persecution narratives and grandiose identities with emphatic sycophantic language, definitive moral judgments about third parties, and complete scripting of value-laden personal communications that users appear to implement verbatim. Analysis of historical trends reveals an increase in the prevalence of disempowerment potential over time. We also find that interactions with greater disempowerment potential receive higher user approval ratings, possibly suggesting a tension between short-term user preferences and long-term human empowerment. Our findings highlight the need for AI systems designed to robustly support human autonomy and flourishing.