MECoBench: 구체화된 환경에서의 다중 모드 에이전트 협업에 대한 체계적인 연구

MECoBench: A Systematic Study of Multimodal Agent Collaboration in Embodied Environments

최근 개발된 다중 모드 대규모 언어 모델(MLLM)은 구체화된 에이전트로서 강력한 잠재력을 가지고 있지만, 시각 정보를 기반으로 하는 환경에서의 협업 능력은 아직 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 MECoBench를 소개합니다. MECoBench는 다양한 실제 작업, 두 가지 협력 구조 및 세 가지 협업 모드를 포괄하는 평가 플랫폼을 갖춘 다중 모드 구체화된 협업 벤치마크입니다. 다양한 MLLM에 대한 광범위한 실험을 통해 우리는 다음과 같은 세 가지 주요 결과를 도출했습니다: (i) 일반적으로 협업은 구체화된 작업 완료를 향상시키지만, 그 효과는 협력적 이점과 조정 복잡성 간의 균형에 따라 달라집니다. (ii) 협력적 이점을 얻기 위해서는 의사소통이 필수적이며, 최적의 협업 모드는 팀 규모와 모델 성능에 따라 달라집니다. (iii) 또한, 협업은 불확실한 초기 조건 및 탐색 환경에서 견고성을 향상시킵니다. 전반적으로, MECoBench는 다중 모드 구체화된 협업의 메커니즘과 한계를 이해하기 위한 체계적인 테스트 환경을 제공합니다. 코드와 데이터셋은 https://github.com/q-i-n-g/MECoBench 에서 확인할 수 있습니다.

Recent multimodal large language models (MLLMs) have strong potential as embodied agents, but their ability to collaborate in visually grounded environments remains underexplored. To address this gap, we introduce MECoBench, a multimodal embodied cooperation benchmark with an evaluation platform spanning diverse real-world tasks, two cooperation structures, and three collaboration modes. Through extensive experiments across various MLLMs, we summarize three key findings: (i) Collaboration generally improves embodied task completion, but its benefits depend on balancing collaborative gains against coordination complexity. (ii) Communication is essential to collaboration gains, while the best collaboration mode depends on team size and model capability. (iii) Moreover, collaboration improves robustness under noisy priors and exploration conditions. Generally, MECoBench provides a systematic testbed for understanding the mechanisms and limits of multimodal embodied collaboration. Code and dataset are available at https://github.com/q-i-n-g/MECoBench.