MARS-RA: 다중 모드 비교를 통한 신뢰 할당을 위한 순위 집계 - 로봇 기반 다중 에이전트 협력 시스템

MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation

신뢰 할당은 특히 제한적이고 지연된 피드백과 동적으로 변하는 활성 에이전트 수를 특징으로 하는 로봇 기반 인공지능 환경에서, 협력적인 다중 에이전트 강화 학습의 근본적인 과제입니다. 본 논문에서는 MARS-RA라는 프레임워크를 제안하며, 이는 신뢰 할당을 기여도 기반의 쌍별 비교를 통해 생성된 에이전트 간 순위 집계 문제로 재구성합니다. 이러한 절대적 추정에서 상대적 추정으로의 전환은 노이즈와 동적인 에이전트 참여에 대한 강건성을 보장하며, 비교 결과를 잠재력 기반 보상 형성을 위한 기여도 점수로 변환합니다. 제안된 프레임워크의 수렴성과 강건성에 대한 이론적 근거를 제시하고, 섀플리 값을 해석 기준으로 사용할 수 있음을 보여줍니다. 다양한 유형의 어려운 작업에 대한 실험 결과는 MARS-RA가 에이전트를 효과적인 협력으로 이끌 수 있음을 나타냅니다.

Credit assignment is a fundamental challenge in cooperative multi-agent reinforcement learning, particularly in embodied AI settings characterized by limited and delayed feedback as well as dynamically changing numbers of active agents. We propose MARS-RA, a framework that reformulates credit assignment as a rank aggregation problem using contribution-based pairwise comparisons among agents generated by large multimodal models. This shift from absolute to relative estimation ensures robustness against noise and dynamic agent participation, converting comparison results into contribution scores for potential-based reward shaping. We provide theoretical justification for the convergence and robustness of the proposed framework, and show that Shapley values can be used as an interpretive reference. Experimental results on challenging tasks of different types indicate that MARS-RA can guide agents toward effective cooperation.