전략적 위험 회피를 통한 일반화 가능한 협력 에이전트 훈련

Training Generalizable Collaborative Agents via Strategic Risk Aversion

많은 최신 에이전트 패러다임에서는 에이전트들이 공유 목표를 달성하기 위해 서로 (또는 사람들과) 협력해야 합니다. 그러나 이러한 협력 문제를 해결하기 위한 기존의 정책 학습 방법은 새로운 파트너와 함께 사용할 때 실패하는 취약한 솔루션을 생성합니다. 우리는 이러한 실패의 원인을 학습 과정에서의 '무임승차' 현상과 전략적 견고성 부족으로 돌립니다. 이러한 문제를 해결하기 위해, 우리는 전략적 위험 회피의 개념을 연구하고 이를 일반화된 협력을 위한 원칙적인 유도 편향으로 해석합니다. 전략적으로 위험 회피적인 에이전트는 설계상 파트너의 행동 변화에 강건하지만, 우리는 협력 게임에서 이러한 에이전트들이 (1) Nash와 같은 기존의 게임 이론 개념보다 더 나은 균형 결과를 얻을 수 있으며, (2) '무임승차' 현상이 적거나 전혀 나타나지 않는다는 것을 보여줍니다. 이러한 통찰력에 영감을 받아, 우리는 전략적 위험 회피를 기존의 정책 최적화 방법에 통합하는 멀티 에이전트 강화 학습 (MARL) 알고리즘을 개발했습니다. 우리의 실험 결과는 협력 벤치마크 (LLM 협력 작업 포함)에서 우리의 이론을 검증하고, 우리의 접근 방식이 다양한 유형의 이질적이고 이전에 보지 못했던 파트너와의 안정적인 협력을 지속적으로 달성한다는 것을 보여줍니다.

Many emerging agentic paradigms require agents to collaborate with one another (or people) to achieve shared goals. Unfortunately, existing approaches to learning policies for such collaborative problems produce brittle solutions that fail when paired with new partners. We attribute these failures to a combination of free-riding during training and a lack of strategic robustness. To address these problems, we study the concept of strategic risk aversion and interpret it as a principled inductive bias for generalizable cooperation with unseen partners. While strategically risk-averse players are robust to deviations in their partner's behavior by design, we show that, in collaborative games, they also (1) can have better equilibrium outcomes than those at classical game-theoretic concepts like Nash, and (2) exhibit less or no free-riding. Inspired by these insights, we develop a multi-agent reinforcement learning (MARL) algorithm that integrates strategic risk aversion into standard policy optimization methods. Our empirical results across collaborative benchmarks (including an LLM collaboration task) validate our theory and demonstrate that our approach consistently achieves reliable collaboration with heterogeneous and previously unseen partners across collaborative tasks.