MADA-RL: 다중 에이전트 토론 기반 강화 학습을 통한 경량 모델의 효율적인 추론

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

대규모 언어 모델은 뛰어난 추론 성능을 보이지만, 종종 엄청난 학습 비용을 필요로 합니다. 특히 제한된 예산 하에서 훈련되는 경량 모델(≤ 40억 파라미터)에게는 더욱 심각한 문제입니다. 본 논문에서는 MADA-RL이라는 사후 훈련 프레임워크를 제안합니다. 이 프레임워크는 경량 모델을 생성자와 비평가 역할을 하는 에이전트로 특화시키고, LoRA 어댑터를 통해 작은 파라미터 집합만을 미세 조정하여 토론 기반 학습 신호를 활용하여 훈련합니다. 핵심적인 기여점은 '반사실적 비평가 우위(counterfactual critic advantage)'입니다. 이는 동적이고 역할에 따라 달라지는 기준선으로, 비평가의 우위를 그 보상에서 생성자 앙상블의 인스턴스별 정확도를 뺀 값으로 재정의합니다. 이를 통해 비평가는 단순히 정답을 재생산하는 것이 아니라 생성자의 합의를 개선하도록 명시적으로 최적화되어, 정적인 평균 보상 정규화보다 더 효과적인 성과 할당을 제공합니다. 배포 시에는 특수화된 에이전트들이 가벼운 다중 라운드 프로토콜로 구성됩니다. 다섯 가지 수학적 추론 벤치마크에서 MADA-RL은 DeepSeek-R1-Distill-Qwen-1.5B 모델의 정확도를 39.9%에서 41.9%로 향상시켰습니다(2.0 포인트 증가, p < 0.001). 이는 완전하게 미세 조정된 기준 모델보다 16배 더 적은 학습 가능한 파라미터를 사용한 결과이며, 정확도와 학습 가능 파라미터 간의 효율성 측면에서 우수한 성능을 보입니다. MADA-RL은 상당한 규모의 데이터셋으로 훈련된 가장 강력한 기준 모델(DeepScaleR, STILL-3)에 거의 근접하지만 아직 능가하지 못합니다. 본 연구에서는 이러한 격차와 관련된 추론 시간 비용을 분석했습니다. 통제된 실험 결과는 MADA-RL의 성능 향상의 원인이 '반사실적 우위'라는 것을 보여줍니다. 이는 평가된 모든 모델 중에서 비평가의 개선율이 가장 높았으며, 훈련된 비평가가 생성자의 오류를 수정하도록 학습한다는 것을 시사합니다.

Large language models achieve strong reasoning performance, but often at prohibitive training cost - a challenge that is especially acute for compact models ($\leq 4 \, \mathrm{B}$ parameters) trained under limited budgets. We introduce MADA-RL, a post-training framework that specializes compact models into generator and critic roles and trains them with a debate-aware learning signal, fine-tuning only a small subset of parameters via LoRA adapters. Our central contribution is a counterfactual critic advantage: a dynamic, role-conditioned baseline that redefines the critic's advantage as its reward minus the generator ensemble's per-instance accuracy. This explicitly optimizes critics to improve over generator consensus rather than to merely reproduce a correct answer, yielding more targeted credit assignment than static mean-reward normalization. At deployment, the specialized agents are composed in a lightweight multi-round protocol. Across five mathematical reasoning benchmarks, MADA-RL raises the accuracy of the DeepSeek-R1-Distill-Qwen-1.5B model from $39.9 \, \%$ to $41.9 \, \%$ ($+2.0$ points, $p < 0.001$) using $16$ times fewer trainable parameters than fully fine-tuned baselines, placing it on the accuracy-trainable-parameter Pareto front. It approaches, but does not surpass, the strongest baselines (DeepScaleR, STILL-3), which are trained on substantially larger datasets; we analyse this gap and the associated inference-time cost directly. A controlled study isolates the source of MADA-RL's gains: the counterfactual advantage produces the highest critic improvement rate of any model evaluated, indicating that trained critics learn to correct generator errors rather than to imitate them.