보상은 혼합하지 말고 정책을 혼합하라: 다중 보상 강화 학습을 위한 정책 분해 및 최적화

Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL

최신 대규모 언어 모델(LLM)은 단순히 정확한 답변을 제공하는 것뿐만 아니라, 다양한 인간의 가치와 사용 사례에 맞춰 자신의 행동을 조정할 것으로 기대됩니다. 그 결과, 각 보상이 원하는 행동의 서로 다른 측면을 반영하는 다중 보상 강화 학습(RL)이 LLM에서 점점 더 중요한 문제로 부상하고 있습니다. 그러나 여러 개의 보상을 사용하여 최적화를 수행하면 '정렬 비용' 문제가 심화될 수 있는데, 이는 서로 다른 최적화 목표가 상쇄되거나 충돌하여 불안정하고 비효율적인 후처리 과정을 초래할 수 있습니다. 본 연구에서는 정책 공간 분해 및 조합의 개념에 기반한 새로운 다중 보상 RL 프레임워크인 PRISM을 제안합니다. PRISM은 다양한 보상을 결합하는 대신, 독립적인 긍정 정책 집합과 전역 부정 정책을 최적화합니다. 이를 통해 다중 보상 정책 최적화 과정에서 발생할 수 있는 잠재적인 충돌을 완화하고, 추론 시 유연한 정책 조합을 통해 제어 가능성을 확보합니다. 과학적 추론, 도구 사용 추론 및 유용성-안전성 정렬에 대한 실험 결과는 PRISM이 기존의 다중 보상 RL 기준 모델보다 일관되게 우수한 성능을 보이며, 추론 시 선호도 조절에 추가적인 제어 가능성을 제공함을 보여줍니다.

Modern large language models (LLMs) are expected not just to answer correctly, but to adapt their behavior to different human values and use cases. As a result, multi-reward reinforcement learning (RL) has become an increasingly important problem for LLMs, where each reward captures a different aspect of desired behavior. However, optimizing with multiple rewards suffers from a more severe alignment tax issue, where different optimization objectives can trade off or even conflict with each other, leading to unstable and inefficient post-training. In this work, we propose PRISM, a new multi-reward RL framework built upon the idea of policy-space decomposition and composition. Instead of compositing different rewards, PRISM optimizes a set of standalone positive policies and a global negative policy. This alleviates the potential conflict during multi-reward policy optimization, while enabling controllability during inference by flexible policy composition. Experiments on scientific reasoning, tool-use reasoning, and helpfulness-safety alignment show that PRISM consistently outperforms existing multi-reward RL baselines, with extra controllability for inference-time preference control.