LLM 에이전트의 행동 일관성 검증: 주식 시장 시뮬레이션을 통한 거래 스타일 전환 분석

Behavioral Consistency Validation for LLM Agents: An Analysis of Trading-Style Switching through Stock-Market Simulation

최근 연구에서는 대규모 언어 모델(LLM)을 에이전트로 활용하여 주식 시장 시뮬레이션에서 미시적 행동이 거시적 현상으로 어떻게 나타나는지 테스트하는 경우가 늘고 있습니다. 그러나 중요한 질문이 제기됩니다. LLM 에이전트의 행동이 실제 시장 참여자들과 일치하는가? 이러한 일치는 시뮬레이션 결과의 타당성을 결정하는 핵심 요소입니다. 이에, 우리는 행동 일관성을 테스트하기 위해 금융 주식 시장 시나리오를 선택했습니다. 투자자는 일반적으로 기본적 분석 또는 기술적 분석 투자자로 분류되지만, 대부분의 시뮬레이션은 초기 설정된 전략만을 사용하므로 실제 거래 역학을 반영하지 못합니다. 본 연구에서는 에이전트의 전략 전환이 금융 이론과 일치하는지 평가하여, 이러한 평가를 위한 프레임워크를 제시합니다. 우리는 손실 회피, 밴드왜건 효과, 자산 불평등, 가격 불일치라는 네 가지 행동 금융 요인을 프롬프트를 통해 설정된 성격 특성으로 구현하고 장기간 저장합니다. 1년 동안의 시뮬레이션에서 에이전트는 매일의 가격 및 거래량 데이터를 처리하고, 지정된 스타일로 거래하며, 10일마다 전략을 재평가합니다. 우리는 네 가지 일치성 지표를 도입하고, Mann-Whitney U 검정을 사용하여 에이전트의 스타일 전환 행동을 금융 이론과 비교합니다. 우리의 결과는 최근 LLM의 전환 행동이 행동 금융 이론과 부분적으로만 일치한다는 것을 보여주며, 이는 에이전트의 행동을 금융 이론과 더욱 일치시키는 추가적인 개선이 필요하다는 것을 시사합니다.

Recent works have increasingly applied Large Language Models (LLMs) as agents in financial stock market simulations to test if micro-level behaviors aggregate into macro-level phenomena. However, a crucial question arises: Do LLM agents' behaviors align with real market participants? This alignment is key to the validity of simulation results. To explore this, we select a financial stock market scenario to test behavioral consistency. Investors are typically classified as fundamental or technical traders, but most simulations fix strategies at initialization, failing to reflect real-world trading dynamics. In this work, we assess whether agents' strategy switching aligns with financial theory, providing a framework for this evaluation. We operationalize four behavioral-finance drivers-loss aversion, herding, wealth differentiation, and price misalignment-as personality traits set via prompting and stored long-term. In year-long simulations, agents process daily price-volume data, trade under a designated style, and reassess their strategy every 10 trading days. We introduce four alignment metrics and use Mann-Whitney U tests to compare agents' style-switching behavior with financial theory. Our results show that recent LLMs' switching behavior is only partially consistent with behavioral-finance theories, highlighting the need for further refinement in aligning agent behavior with financial theory.