계획 없이도 마음 이론을 활용한 설득: 대규모 언어 모델 연구

Large Language Models Persuade Without Planning Theory of Mind

최근 연구들은 정적이고 상호 작용이 없는 질의응답 벤치마크를 사용하여 인간과 대규모 언어 모델(LLM)의 마음 이론(ToM) 능력을 평가하려고 시도합니다. 그러나 해당 분야의 이론적인 연구는 첫인칭 상호작용이 ToM의 중요한 부분이며, 예측적이고 관찰자로서 수행되는 작업은 이를 제대로 평가하지 못할 수 있다고 제안합니다. 본 연구에서는 이러한 간극을 메우기 위해, 에이전트가 대상에게 세 가지 정책 제안 중 하나를 선택하도록 전략적으로 정보를 공개하여 설득하는 새로운 ToM 과제를 제시합니다. 성공 여부는 설득자의 대상의 지식 상태(정책에 대한 대상의 이해)와 동기 부여 상태(대상에게 중요한 결과)에 대한 민감성에 달려 있습니다. 본 연구에서는 이러한 상태가 설득자에게 '공개'되거나 '숨겨진' 경우를 다루었으며, 숨겨진 경우에는 설득자가 정보를 탐색하거나 추론해야 했습니다. 실험 1에서는 참가자들이 합리적인 추론만 수행하도록 프로그래밍된 봇을 설득했습니다. LLM은 공개 조건에서는 뛰어난 성능을 보였지만, 숨겨진 조건에서는 기대 이하의 결과를 보여주었으며, 이는 대상의 정신 상태 정보를 얻고 사용하는 데 필요한 다단계 계획 수립에 어려움이 있음을 시사합니다. 인간 참가자는 두 가지 조건 모두에서 비교적 좋은 성과를 보여주며, 이러한 계획을 수행할 수 있는 능력을 나타냅니다. 실험 2에서는 인간 참가자가 봇 역할을 수행하고, 실험 3에서는 인간 대상의 실제 신념이 변화하는지 측정했습니다. 그 결과, LLM은 모든 조건에서 인간 설득자보다 더 나은 성과를 보였습니다. 이러한 결과는 효과적인 설득이 명시적인 ToM 추론 없이도 가능하며(예: 수사적 전략 사용), LLM이 이와 같은 형태의 설득에 뛰어난 능력을 가지고 있음을 시사합니다. 전반적으로, 본 연구의 결과는 LLM에게 인간과 유사한 ToM 능력이 있다고 간주하는 것에 주의해야 하며, 동시에 LLM이 사람들의 신념과 행동에 영향을 미칠 수 있는 잠재력을 가지고 있음을 강조합니다.

A growing body of work attempts to evaluate the theory of mind (ToM) abilities of humans and large language models (LLMs) using static, non-interactive question-and-answer benchmarks. However, theoretical work in the field suggests that first-personal interaction is a crucial part of ToM and that such predictive, spectatorial tasks may fail to evaluate it. We address this gap with a novel ToM task that requires an agent to persuade a target to choose one of three policy proposals by strategically revealing information. Success depends on a persuader's sensitivity to a given target's knowledge states (what the target knows about the policies) and motivational states (how much the target values different outcomes). We varied whether these states were Revealed to persuaders or Hidden, in which case persuaders had to inquire about or infer them. In Experiment 1, participants persuaded a bot programmed to make only rational inferences. LLMs excelled in the Revealed condition but performed below chance in the Hidden condition, suggesting difficulty with the multi-step planning required to elicit and use mental state information. Humans performed moderately well in both conditions, indicating an ability to engage such planning. In Experiment 2, where a human target role-played the bot, and in Experiment 3, where we measured whether human targets' real beliefs changed, LLMs outperformed human persuaders across all conditions. These results suggest that effective persuasion can occur without explicit ToM reasoning (e.g., through rhetorical strategies) and that LLMs excel at this form of persuasion. Overall, our results caution against attributing human-like ToM to LLMs while highlighting LLMs' potential to influence people's beliefs and behavior.