가치 중심 대규모 언어 모델 에이전트를 위한 맥락-가치-행동 아키텍처

Context-Value-Action Architecture for Value-Driven Large Language Model Agents

대규모 언어 모델(LLM)은 인간 행동을 모방하는 잠재력을 보여주었지만, 기존 에이전트는 종종 행동의 경직성을 나타내며, 이러한 결함은 현재의 "LLM을 평가자로 활용하는" 평가 방식에서 자기 참조 편향에 의해 자주 가려집니다. 우리는 실증적인 기준을 사용하여 평가함으로써, 직관에 반하는 현상을 밝혀냅니다. 즉, 프롬프트 기반 추론의 강도를 높이는 것은 정확성을 향상시키지 않고 오히려 가치 양극화를 심화시켜, 집단 다양성을 감소시킵니다. 이러한 문제를 해결하기 위해, 우리는 Stimulus-Organism-Response (S-O-R) 모델과 Schwartz의 인간 기본 가치 이론에 기반한 Context-Value-Action (CVA) 아키텍처를 제안합니다. CVA는 자기 검증에 의존하는 기존 방법과 달리, 실제 인간 데이터로 학습된 새로운 Value Verifier를 사용하여, 인지적 추론과 행동 생성 과정을 분리하고, 동적인 가치 활성화를 명시적으로 모델링합니다. 110만 건 이상의 실제 상호 작용 데이터를 포함하는 CVABench 데이터셋에 대한 실험 결과, CVA는 기존 방법보다 훨씬 뛰어난 성능을 보이는 것으로 나타났습니다. 우리의 접근 방식은 양극화를 효과적으로 완화하면서도, 우수한 행동 정확성과 해석 가능성을 제공합니다.

Large Language Models (LLMs) have shown promise in simulating human behavior, yet existing agents often exhibit behavioral rigidity, a flaw frequently masked by the self-referential bias of current "LLM-as-a-judge" evaluations. By evaluating against empirical ground truth, we reveal a counter-intuitive phenomenon: increasing the intensity of prompt-driven reasoning does not enhance fidelity but rather exacerbates value polarization, collapsing population diversity. To address this, we propose the Context-Value-Action (CVA) architecture, grounded in the Stimulus-Organism-Response (S-O-R) model and Schwartz's Theory of Basic Human Values. Unlike methods relying on self-verification, CVA decouples action generation from cognitive reasoning via a novel Value Verifier trained on authentic human data to explicitly model dynamic value activation. Experiments on CVABench, which comprises over 1.1 million real-world interaction traces, demonstrate that CVA significantly outperforms baselines. Our approach effectively mitigates polarization while offering superior behavioral fidelity and interpretability.