다중 에이전트 시스템에서 발생하는 극단적인 사건 해석

Interpreting Emergent Extreme Events in Multi-Agent Systems

대규모 언어 모델 기반 다중 에이전트 시스템은 복잡한 인간과 유사한 시스템을 시뮬레이션하는 강력한 도구로 부상했습니다. 이러한 시스템 내의 상호작용은 종종 극단적인 사건을 유발하며, 이러한 사건의 기원은 시스템의 복잡성으로 인해 명확하게 파악하기 어렵습니다. 이러한 사건을 해석하는 것은 시스템 안전에 매우 중요합니다. 본 논문에서는 다중 에이전트 시스템에서 발생하는 극단적인 사건을 설명하기 위한 최초의 프레임워크를 제안하며, 다음 세 가지 기본적인 질문에 대한 답변을 목표로 합니다. 첫째, 사건은 언제 발생하는가? 둘째, 누가 사건을 유발하는가? 셋째, 어떤 행동들이 사건에 기여하는가? 구체적으로, 우리는 Shapley 값을 활용하여 극단적인 사건 발생에 각 에이전트가 서로 다른 시점에서 수행한 행동의 기여도를 정확하게 측정하고, 각 행동에 대한 기여도 점수를 할당합니다. 그런 다음, 시간, 에이전트, 행동의 차원을 따라 기여도 점수를 집계하여 각 차원의 위험 기여도를 정량화합니다. 마지막으로, 이러한 기여도 점수를 기반으로 일련의 지표를 설계하여 극단적인 사건의 특징을 설명합니다. 다양한 다중 에이전트 시스템 시나리오(경제, 금융, 사회)에서의 실험은 본 프레임워크의 효과성을 입증하고 극단적인 현상의 발생에 대한 일반적인 통찰력을 제공합니다.

Large language model-powered multi-agent systems have emerged as powerful tools for simulating complex human-like systems. The interactions within these systems often lead to extreme events whose origins remain obscured by the black box of emergence. Interpreting these events is critical for system safety. This paper proposes the first framework for explaining emergent extreme events in multi-agent systems, aiming to answer three fundamental questions: When does the event originate? Who drives it? And what behaviors contribute to it? Specifically, we adapt the Shapley value to faithfully attribute the occurrence of extreme events to each action taken by agents at different time steps, i.e., assigning an attribution score to the action to measure its influence on the event. We then aggregate the attribution scores along the dimensions of time, agent, and behavior to quantify the risk contribution of each dimension. Finally, we design a set of metrics based on these contribution scores to characterize the features of extreme events. Experiments across diverse multi-agent system scenarios (economic, financial, and social) demonstrate the effectiveness of our framework and provide general insights into the emergence of extreme phenomena.