누가 보상을 받을 자격이 있는가? SHARP: 다중 에이전트 시스템을 위한 샤플리 기여도 기반 최적화

Who Deserves the Reward? SHARP: Shapley Credit-based Optimization for Multi-Agent System

다중 에이전트 시스템을 통해 거대 언어 모델(LLM)과 외부 도구를 통합하는 것은 복잡한 문제를 분해하고 해결하기 위한 유망한 새로운 패러다임을 제공합니다. 그러나 의사결정 궤적의 성공이나 실패에 대해 어떤 특정 기능적 에이전트가 책임이 있는지 불분명한 경우가 많아, 기여도 할당(credit assignment) 문제로 인해 이러한 시스템을 학습시키는 것은 여전히 매우 어렵습니다. 기존 방법들은 일반적으로 희소하거나 전역적으로 전파되는 보상에 의존하여 개별 기여를 포착하지 못하고 비효율적인 강화 학습으로 이어집니다. 이러한 한계를 해결하기 위해, 우리는 정밀한 기여도 할당을 통해 다중 에이전트 강화 학습을 최적화하는 새로운 프레임워크인 SHARP(Shapley-based Hierarchical Attribution for Reinforcement Policy)를 소개합니다. SHARP는 전역 브로드캐스트 정확도 보상, 각 에이전트에 대한 샤플리 기반 한계 기여도 보상, 그리고 실행 효율성을 높이기 위한 도구 프로세스 보상으로 구성된 분해된 보상 메커니즘을 사용합니다. 이를 통해 궤적 그룹 전반에 걸쳐 에이전트별 이점(advantage)을 정규화함으로써 학습을 효과적으로 안정화합니다. 다양한 실제 벤치마크에 대한 광범위한 실험을 통해 SHARP가 최근의 최첨단 베이스라인을 크게 능가함을 입증하였으며, 단일 에이전트 및 다중 에이전트 접근 방식 대비 각각 평균 23.66% 및 14.05%의 성능 향상을 달성했습니다.

Integrating Large Language Models (LLMs) with external tools via multi-agent systems offers a promising new paradigm for decomposing and solving complex problems. However, training these systems remains notoriously difficult due to the credit assignment challenge, as it is often unclear which specific functional agent is responsible for the success or failure of decision trajectories. Existing methods typically rely on sparse or globally broadcast rewards, failing to capture individual contributions and leading to inefficient reinforcement learning. To address these limitations, we introduce the Shapley-based Hierarchical Attribution for Reinforcement Policy (SHARP), a novel framework for optimizing multi-agent reinforcement learning via precise credit attribution. SHARP effectively stabilizes training by normalizing agent-specific advantages across trajectory groups, primarily through a decomposed reward mechanism comprising a global broadcast-accuracy reward, a Shapley-based marginal-credit reward for each agent, and a tool-process reward to improve execution efficiency. Extensive experiments across various real-world benchmarks demonstrate that SHARP significantly outperforms recent state-of-the-art baselines, achieving average match improvements of 23.66% and 14.05% over single-agent and multi-agent approaches, respectively.