인지 모델을 활용하여 인간의 설득 게임 시뮬레이션 성능 향상

Using Cognitive Models to Improve Language Model Simulation of Human Persuasion Games

사람들은 전략적 상호작용에서 다양한 방식으로 의사 결정을 내립니다. 어떤 사람들은 베이즈 추론과 같이 믿음을 업데이트하는 반면, 다른 사람들은 동기화된 사고와 같은 편향을 보입니다. 대규모 언어 모델 개발자들은 안전성 평가 및 훈련을 위해 시뮬레이션된 인간을 사용하지만, 종종 이러한 다양한 인간 행동 양상을 포괄하지 못합니다. 본 연구에서는 인지 과학과 경제학이 수학적 인간 의사 결정 모델을 활용하여 이를 가능하게 하는 편리한 도구임을 주장합니다. 우리는 '수식-행동 프롬프트(Equation-to-Behavior Prompting)'라는 접근 방식을 제안하며, 이는 대규모 언어 모델이 인지 모델에 부합하도록 안내하는 방법입니다. 본 연구에서는 법률 의사 결정 기반의 설득 게임을 사용하여 이 접근 방식의 효과를 평가했습니다. 그 결과, 대규모 모델은 프롬프트를 통해 베이즈 추론, 선형 변환, 동기화된 업데이트 및 Grether의 α-β 모델과 같은 수식 기반 사양을 근사할 수 있었지만, 소규모 모델은 이를 수행하지 못했습니다. 그러나 강화 학습을 사용하여 수학적 규칙을 따르도록 훈련된 소규모 모델(수식-행동 강화 학습)은 분포 외부 매개변수 설정에서 믿음 오류를 26.5% 줄이는 효과를 보였습니다. 본 연구에서는 이러한 시뮬레이션이 다양한 훈련 환경을 구축하는 데 도움이 될 수 있음을 보여줍니다. 다양한 의사 결정 주체를 고려하도록 훈련된 소규모 모델은 GPT-5-mini를 설득하더라도 베이즈 추론만 사용한 경우에 비해 평균적인 믿음 변화가 2.5%에서 12% 향상되었습니다. 본 연구는 점점 더 현실적인 환경에서의 훈련 및 평가를 위한 인간 시뮬레이션을 개선하고, 보다 복잡한 인간 의사 결정 모델에 대한 새로운 연구를 가능하게 할 수 있습니다.

People make decisions differently in strategic interactions. Some update beliefs like a Bayesian; others exhibit biases like motivated reasoning. Although creators of large language models use simulated humans for safety evaluations and training, they often fail to cover this breadth of human behavior. We argue that cognitive science and economics provide a convenient tool for doing so, making use of mathematical models of human decision-making. We propose an approach that we call Equation-to-Behavior Prompting for guiding large language models to match cognitive models, and evaluate this approach on persuasion games based on legal decision-making. We find that large models can approximate equation-based specifications -- Bayesian updating, affine distortion, motivated updating, and Grether's $α$-$β$ model -- using prompting, but small models fail to do so. However, training small models with reinforcement learning to adhere to mathematical rules, Equation-to-Behavior RL, reduces belief error by 26.5% in out-of-distribution parameterizations. We show that these simulations can help create diverse training environments; training small models to consider different kinds of decision-makers improves average belief change by 2.5%--12% over Bayesian-only training, even when persuading GPT-5-mini. Our work could improve human simulations for training and evaluation in increasingly realistic settings, and could also enable novel research into more complicated mathematical models of human decision-making.