LLM은 통제된 환경에서 인간의 신념 변화를 모방하는 데 어려움을 겪는다.

LLMs struggle to simulate human belief updates in controlled environments

최근 LLM(대규모 언어 모델)이 사회 과학 실험에서 인간 연구 참여자를 대체하는 용도로 점점 더 많이 사용되고 있지만, 이러한 접근 방식의 정확성은 거의 직접적으로 검증되지 않았습니다. 본 연구에서는 여섯 개의 LLM이 개별적인 인간의 신념 변화를 모방할 수 있는지 조사하고, Prolific 플랫폼을 통해 모집된 391명의 영국 참가자로부터 얻은 실제 데이터와 LLM의 출력을 비교 분석했습니다. 참가자들은 Reddit 댓글을 읽고 세 가지 토론 주제에 대한 자신의 입장을 변경했으며, 각 참가자는 인구 통계 및 성격 특성 데이터를 기반으로 생성된 페르소나를 통해 LLM에 의해 시뮬레이션되었습니다. 일부 LLM(Qwen3-32B 및 GPT-5-Mini)은 참가자의 실제 초기 입장이 주어졌을 때 인간의 입장 분포와 유사한 결과를 보였지만, 모든 모델은 자체적으로 초기 입장을 생성하고, 자체 생성된 입장에 기반하여 신뢰할 수 있는 신념 변화를 생성하는 데 실패했습니다. 분석 결과, 모든 모델에서 세 가지 주요 편향이 나타났습니다: 중립적인 입장의 과도한 표현, 인간보다 더 빈번하지만 작은 규모의 신념 변화, 그리고 댓글의 설득력을 순위로 매기는 능력의 부족. 인구 통계 및 성격 특성 페르소나가 정확성에 미치는 영향은 일관되지 않았습니다. LLM을 사용하여 인간의 신념 역학을 시뮬레이션하는 것은 현실적인 초기 조건을 기반으로 할 때만 신뢰할 수 있으며, 현재 다단계 소셜 미디어 시뮬레이션에서는 이러한 조건이 거의 제공되지 않습니다.

LLMs are increasingly deployed as proxies for human study participants in social science experiments, yet the fidelity of this practice has rarely been tested directly. We test whether six LLMs can simulate individual human belief updates, comparing LLM outputs 1-to-1 against ground truth data from 391 UK participants on Prolific, who updated their stances on three discussion topics after reading Reddit comments. Each participant was simulated by an LLM conditioned on a persona derived from their demographic and personality trait data. We find that some LLMs (Qwen3-32B and GPT-5-Mini) can match the human post-stance distribution, but only when given participants' actual initial stances. All six models fail to simulate initial stances themselves and to produce faithful belief updates from self-generated stances. Three systematic biases emerge across all models: overrepresentation of neutral positions, more frequent but smaller belief shifts than humans, and a failure to rank comments by convincingness. Demographic and personality trait personas had no consistent effect on fidelity. LLM simulations of human belief dynamics are only reliable when grounded in realistic starting conditions, that current multi-round social media simulations rarely provide.