대규모 언어 모델에서의 행동 이식성 측정

Measuring Behavior Portability in Large Language Models

대규모 언어 모델은 점점 더 자율적인 의사 결정자로 활용되고 있지만, 이러한 모델이 나타내는 행동 양상은 구조적으로 동일하지만 표면적인 표현이 다른 다양한 의사 결정 환경에 따라 크게 달라질 수 있습니다. 이러한 민감성은 일관성 있는 평가를 어렵게 만들고, '행동 이식성'이라는 근본적인 질문을 제기합니다. 즉, 한 의사 결정 환경에서 학습된 행동 양상이 동일한 기본 인센티브 구조를 가진 다른 환경에서도 얼마나 유용할 수 있는가? 본 연구에서는 이러한 특성을 측정하기 위한 공식적인 프레임워크를 제시합니다. 제안하는 방법은 여러 원본 환경에서 수집된 데이터를 기반으로 해석 가능한 행동 모델을 구축하고, 이를 사용하여 별도의 대상 환경에서의 예측 성능을 평가하며, 동시에 대상 데이터로 직접 훈련된 이상적인 모델(oracle)과 비교합니다. 이식성은 손실에 관계없이 대상 환경에서의 예측-행동 매핑 성능에 대한 최악의 경우 경계를 제공하는 지표를 통해 정량화됩니다. 일곱 가지 대표적인 경제적 의사 결정 문제를 다룬 통제 실험에서, 상당하고 체계적인 이식성 저하가 관찰되었습니다. 이는 한 의사 결정 환경에서 얻은 대규모 언어 모델의 행동 특성이 구조적으로 동일한 다른 환경으로 안정적으로 전이될 수 없다는 것을 시사합니다.

Large language models are increasingly deployed as autonomous decision makers, yet the behavioral mapping they exhibit can vary substantially across decision environments that are payoff-equivalent by construction-environments that share identical payoff-relevant structure but differ in surface presentation. This sensitivity renders suite-based evaluation fragile and raises a fundamental question of behavioral portability: how well does a behavioral mapping learned in one decision environment informative on another that preserves the same underlying incentive structure? We introduce a formal framework to measure this property. Our protocol fits an interpretable behavioral model on data pooled from a set of source environments and evaluates its out-of-sample predictive performance in a held-out target environment, benchmarking against an oracle trained directly on target data. Portability is quantified via a loss-agnostic measure that delivers worst-case bounds on the performance of the induced prediction-action mapping in the target environment. In controlled experiments spanning seven canonical economic decision problems, we document substantial and systematic portability losses, suggesting that behavioral characterizations of LLMs obtained in one decision environment cannot be assumed to transfer reliably to structurally equivalent alternatives.