CommCP: LLM 기반의 Conformal Prediction을 활용한 효율적인 다중 에이전트 협업

CommCP: Efficient Multi-Agent Coordination via LLM-Based Communication with Conformal Prediction

로봇은 인간이 제공하는 자연어 명령을 이해하고, 장면 이해를 위한 질문을 생성하고 답변하며, 목표 객체를 조작해야 합니다. 실제 환경에서는 다양한 조작 능력을 가진 여러 로봇이 협력하여 다양한 작업을 수행해야 하는 경우가 많습니다. 특수한 조작 기술 외에도, 효과적인 정보 수집은 이러한 작업을 완료하는 데 중요합니다. 본 연구에서는 이러한 문제를 해결하기 위해, 정보 수집 과정을 완전한 협력 환경에서 다중 에이전트 다중 작업의 Embodied Question Answering (MM-EQA) 문제로 공식화합니다. 이는 기존의 Embodied Question Answering (EQA)의 새로운 확장이며, 효과적인 의사소통은 중복을 피하면서 노력을 조율하는 데 필수적입니다. 이러한 문제를 해결하기 위해, MM-EQA를 위한 LLM 기반의 분산 통신 프레임워크인 CommCP를 제안합니다. 우리 프레임워크는 생성된 메시지를 Conformal Prediction을 사용하여 조정함으로써 수신자의 주의 산만을 최소화하고 통신 신뢰성을 향상시킵니다. 우리 프레임워크의 성능을 평가하기 위해, 다양한 사진 기반의 가상 환경과 Embodied Question을 포함하는 MM-EQA 벤치마크를 소개합니다. 실험 결과는 CommCP가 기준 모델보다 작업 성공률과 탐색 효율성을 크게 향상시킨다는 것을 보여줍니다. 실험 영상, 코드 및 데이터세트는 프로젝트 웹사이트에서 확인할 수 있습니다: https://comm-cp.github.io.

To complete assignments provided by humans in natural language, robots must interpret commands, generate and answer relevant questions for scene understanding, and manipulate target objects. Real-world deployments often require multiple heterogeneous robots with different manipulation capabilities to handle different assignments cooperatively. Beyond the need for specialized manipulation skills, effective information gathering is important in completing these assignments. To address this component of the problem, we formalize the information-gathering process in a fully cooperative setting as an underexplored multi-agent multi-task Embodied Question Answering (MM-EQA) problem, which is a novel extension of canonical Embodied Question Answering (EQA), where effective communication is crucial for coordinating efforts without redundancy. To address this problem, we propose CommCP, a novel LLM-based decentralized communication framework designed for MM-EQA. Our framework employs conformal prediction to calibrate the generated messages, thereby minimizing receiver distractions and enhancing communication reliability. To evaluate our framework, we introduce an MM-EQA benchmark featuring diverse, photo-realistic household scenarios with embodied questions. Experimental results demonstrate that CommCP significantly enhances the task success rate and exploration efficiency over baselines. The experiment videos, code, and dataset are available on our project website: https://comm-cp.github.io.