TRACER: 내부 강화 신용을 활용한 턴 레벨 회귀 매칭을 통한 협력적 다중 LLM 추론

TRACER: Turn-level Regret Matching with Inner Reinforcement Credit for Cooperative Multi-LLM Reasoning

대규모 언어 모델(LLM)은 점점 더 추론 능력을 향상시키기 위해 강화 학습 또는 멀티 에이전트 프롬프팅에 의존하고 있지만, 이 두 가지 패러다임을 결합하는 것은 여전히 어렵습니다. 단일 에이전트 강화 학습을 다중 턴 다중 에이전트 시스템에 직접 적용하면 다음과 같은 어려움이 발생합니다: i) 희소한 보상, 역할 수준에서의 편승 현상 및 과도한 학습 비용. ii) 에이전트는 단순히 협력을 모방합니다. iii) 고정된 협력 프로토콜은 진동하는 지역 최적점에 빠집니다. 본 논문에서는 협력적인 다중 LLM 추론을 위한 턴 레벨 강화 프레임워크인 TRACER를 소개합니다. TRACER는 협업 의사 결정을 컨트롤러-회귀 레이어와 생성-신용 레이어로 분리합니다. 컨트롤러-회귀 레이어에서는 컨트롤러가 에이전트가 현재 라운드에 발언해야 하는지 또는 건너뛰어야 하는지를 회귀 매칭을 통해 학습하고, 생성-신용 레이어는 역할별 GSPO 보상을 사용하여 제안자와 검토자의 발화를 최적화합니다. 이러한 설계는 i) 행동 모드와 생성된 발언 모두에서 신용을 할당하므로 편승 현상과 희소한 보상을 방지하며, 컨트롤러가 내리는 선택사항만 확장하여 학습에 필요한 계산 비용을 크게 줄입니다. 또한 ii) 에이전트는 언제 발언하고 무엇을 말해야 하는지를 학습하면서 협력 능력을 습득합니다. 마지막으로 iii) 이진 행동을 교묘하게 설계함으로써, 기존의 유한 행동 공간에 대한 고전 게임 이론을 딥 러닝으로 확장하여 수학적으로 엄격한 수렴을 달성합니다. 우리는 모든 로컬 강화 학습 방법을 GSM8K 학습 데이터셋에서 학습하고, 성능은 별도로 구성된 GSM8K, MATH500 및 GPQA-Diamond 데이터셋에서 평가하여 동일 도메인 정확도, 벤치마크 간 일반화 능력, 추론 비용 및 오류 수정 유지 여부를 측정합니다. 결과적으로 개발된 프레임워크는 고정된 토론, 투표 또는 집계 프로토콜을 넘어 학습된 협력 정책을 연구하기 위한 작고 재현 가능한 테스트 환경을 제공합니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/Shark-Forest/TRACER.

Large language models increasingly rely on either reinforcement learning or multi-agent prompting to improve reasoning, yet these two paradigms remain difficult to combine. Directly applying single-agent reinforcement learning to multi-turn multi-agent systems faces following dilemmas: i) Sparse rewards, role-level free-riding and excessive training overhead. ii) Agents only imitate to collaborate. iii) Fixed collaboration protocol falls into oscillating local optimum. We introduce TRACER, a turn-level reinforcement framework for cooperative multi-LLM reasoning. TRACER separates collaborative decision making into a controller-regret layer, where controllers learn whether the agents should speak or skip the current round through regret matching, and a generation-credit layer, which optimizes proposer and reviewer utterances with role-specific GSPO rewards. This design i) assigns credit at the level of both action modes and generated utterances, thus avoiding free-riding and sparse rewards. We only expand the choices made by the controllers, thus greatly reducing computational cost of training. Moreover, ii) agents acquire collaborative capability as they learn when to utter and what to speak. Finally, iii) by designing binary actions ingeniously, we extend classical game theory established for finite action spaces to deep learning, thus achieving mathematically rigorous convergence. We train all local RL-style methods on the GSM8K training split and evaluate on held-out GSM8K, MATH500, and GPQA-Diamond to measure in-domain accuracy, cross-benchmark generalization, inference cost, and correction-preservation behavior. The resulting framework provides a compact and reproducible testbed for studying learned collaboration policies beyond fixed debate, voting, or aggregation protocols. Code is available at https://github.com/Shark-Forest/TRACER.