LLM 기반 다중 에이전트 협업을 위한 적응형 타 이론 모델

Adaptive Theory of Mind for LLM-based Multi-Agent Coordination

타 이론(Theory of Mind, ToM)은 타인의 정신 상태에 대해 추론하는 능력을 의미하며, 고차 타 이론은 타인 역시 자신만의 타 이론을 가지고 있다는 점을 고려하는 것을 포함합니다. 대규모 언어 모델(LLM) 기반 에이전트에 타 이론을 적용하는 것은 다중 에이전트 협업 작업에서 그들의 협력을 향상시키는 것으로 오랫동안 여겨져 왔습니다. 그러나, 우리는 타 이론의 일관성 부족, 즉 에이전트 간의 타 이론 추론 깊이 차이가 다른 경우, 타인에 대한 불충분하거나 과도한 추론을 초래하여 협력을 저해할 수 있다는 것을 발견했습니다. 이러한 문제를 해결하기 위해, 우리는 파트너의 타 이론 수준에 맞춰 조정할 수 있는 적응형 타 이론(Adaptive ToM, A-ToM) 에이전트를 설계했습니다. 이 에이전트는 이전 상호 작용을 기반으로 파트너의 예상되는 타 이론 수준을 추정하고, 이를 활용하여 파트너의 행동을 예측함으로써 행동적 협력을 촉진합니다. 우리는 반복적인 행렬 게임, 두 가지 그리드 탐색 작업 및 Overcooked 게임을 포함한 네 가지 다중 에이전트 협업 작업에 대해 실증적인 평가를 수행했습니다. 그 결과는 타 이론 일관성의 중요성을 뒷받침하며, A-ToM 에이전트의 효과를 입증합니다. 또한, A-ToM이 LLM 기반 에이전트가 아닌 에이전트에도 적용될 수 있는지, 그리고 어떤 조건에서 타 이론 일관성이 중요하지 않게 되는지에 대해 논의합니다.

Theory of Mind (ToM) refers to the ability to reason about others' mental states, and higher-order ToM involves considering that others also possess their own ToM. Equipping large language model (LLM)-driven agents with ToM has long been considered to improve their coordination in multiagent collaborative tasks. However, we find that misaligned ToM orders-mismatches in the depth of ToM reasoning between agents-can lead to insufficient or excessive reasoning about others, thereby impairing their coordination. To address this issue, we design an adaptive ToM (A-ToM) agent, which can align in ToM orders with its partner. Based on prior interactions, the agent estimates the partner's likely ToM order and leverages this estimation to predict the partner's action, thereby facilitating behavioral coordination. We conduct empirical evaluations on four multi-agent coordination tasks: a repeated matrix game, two grid navigation tasks and an Overcooked task. The results validate our findings on ToM alignment and demonstrate the effectiveness of our A-ToM agent. Furthermore, we discuss the generalizability of our A-ToM to non-LLM-based agents, as well as what would diminish the importance of ToM alignment.