다중 에이전트 커뮤니케이션의 5W: 누가 누구에게, 언제, 무엇을, 그리고 왜 -- MARL부터 창발적 언어 및 LLM까지의 조사

The Five Ws of Multi-Agent Communication: Who Talks to Whom, When, What, and Why -- A Survey from MARL to Emergent Language and LLMs

다중 에이전트 순차적 의사 결정은 자율 주행 차량과 로봇 공학에서 협력형 AI 비서에 이르기까지 많은 실제 시스템의 동력이 됩니다. 동적이고 부분적으로 관찰 가능한 환경에서, 커뮤니케이션은 종종 불확실성을 줄이고 협업을 가능하게 하는 핵심 요소입니다. 본 조사는 누가 누구와 소통하는지, 무엇을 소통하는지, 언제 소통이 일어나는지, 그리고 왜 소통이 유익한지라는 5W를 통해 다중 에이전트 커뮤니케이션(MA-Comm)을 검토합니다. 이러한 프레임워크는 서로 분리되어 있던 연구 흐름 전반의 아이디어들을 명확하게 연결하는 방법을 제공합니다. 우리는 세 가지 주요 패러다임에 걸쳐 커뮤니케이션 접근 방식이 어떻게 진화해 왔는지 추적합니다. 다중 에이전트 강화 학습(MARL)에서 초기 방법론들은 수작업으로 설계되거나 암시적인 프로토콜을 사용했으나, 이후 보상과 제어에 최적화된 종단간(end-to-end) 학습된 커뮤니케이션으로 이어졌습니다. 이러한 프로토콜은 성공적이었음에도 불구하고 종종 특정 작업에 국한되거나 해석하기 어렵다는 단점이 있어, 에이전트가 상호 작용을 통해 더 구조화되거나 기호적인 커뮤니케이션을 발전시킬 수 있는 창발적 언어(EL)에 대한 연구를 촉발했습니다. 그러나 EL 방법론은 여전히 그라운딩(grounding), 일반화, 확장성 문제로 어려움을 겪고 있으며, 이는 최근 더 개방형 설정에서의 추론, 계획 및 협업을 위해 자연어 사전 지식(priors)을 제공하는 대형 언어 모델(LLM)에 대한 관심을 불러일으켰습니다. 우리는 MARL, EL, LLM 기반 시스템 전반에 걸쳐 서로 다른 선택들이 어떻게 커뮤니케이션 설계를 형성하는지, 주요 트레이드오프는 어디에 있는지, 그리고 무엇이 미해결 과제로 남아 있는지를 강조합니다. 마지막으로, 확장 가능하고 해석 가능한 다중 에이전트 협업을 위해 학습, 언어, 제어를 결합한 미래의 하이브리드 시스템을 지원하고자 실용적인 설계 패턴과 해결해야 할 과제들을 정리합니다.

Multi-agent sequential decision-making powers many real-world systems, from autonomous vehicles and robotics to collaborative AI assistants. In dynamic, partially observable environments, communication is often what reduces uncertainty and makes collaboration possible. This survey reviews multi-agent communication (MA-Comm) through the Five Ws: who communicates with whom, what is communicated, when communication occurs, and why communication is beneficial. This framing offers a clean way to connect ideas across otherwise separate research threads. We trace how communication approaches have evolved across three major paradigms. In Multi-Agent Reinforcement Learning (MARL), early methods used hand-designed or implicit protocols, followed by end-to-end learned communication optimized for reward and control. While successful, these protocols are frequently task-specific and hard to interpret, motivating work on Emergent Language (EL), where agents can develop more structured or symbolic communication through interaction. EL methods, however, still struggle with grounding, generalization, and scalability, which has fueled recent interest in large language models (LLMs) that bring natural language priors for reasoning, planning, and collaboration in more open-ended settings. Across MARL, EL, and LLM-based systems, we highlight how different choices shape communication design, where the main trade-offs lie, and what remains unsolved. We distill practical design patterns and open challenges to support future hybrid systems that combine learning, language, and control for scalable and interpretable multi-agent collaboration.