다중 작업 에이전트 강화 학습을 위한 엔트로피 페이싱 정책 최적화

Entropy Pacing Policy Optimization for Multi-Task Agentic Reinforcement Learning

최근 강화 학습(RL)의 발전은 복잡한 에이전트 기반 대규모 언어 모델(LLM) 작업에 대한 잠재력을 보여주었습니다. 그러나 기존 연구는 주로 단일 작업 환경에 집중하는 반면, 실제 적용에는 여러 작업을 동시에 해결할 수 있는 범용 에이전트가 필요합니다. 본 연구에서는 다중 작업 에이전트 RL에서 간과되어 온 중요한 현상인 탐색-활용 속도 불균형을 밝혀냈습니다. 구체적으로, 쉬운 작업은 빠르게 낮은 엔트로피 정책으로 수렴하여 더 어려운 작업의 학습을 방해할 수 있으며, 반대로 더 어려운 작업은 쉬운 작업을 다시 높은 엔트로피 탐색 상태로 되돌릴 수 있습니다. 이러한 상호 작용은 작업 간 엔트로피 교차 및 빈번한 엔트로피 급증 현상을 야기합니다. 이러한 관찰에 영감을 받아, 본 연구에서는 다중 작업 에이전트 LLM을 위한 엔트로피 페이싱 정책 최적화(EPPO)를 제안하며, 이는 여러 작업 간의 엔트로피를 조정하여 다중 작업 최적화를 안정화합니다. EPPO의 핵심은 각 작업에 따른 동적 클리핑 메커니즘으로, 그룹 상대 정책 최적화(GRPO)의 고정된 클리핑 임계값을 작업 엔트로피를 고려한 적응형 경계로 대체하여, 과신하는 작업에 대한 업데이트는 강화하고 탐색이 부족한 작업에 대해서는 완화합니다. 제안된 EPPO를 다중 작업 에이전트 벤치마크에서 실험한 결과, 기존 방법보다 우수한 성능을 보였습니다.

Recent breakthroughs of Reinforcement Learning (RL) have highlighted its potential for complex agentic Large Language Model (LLM) tasks. However, existing efforts largely focus on single-task settings, whereas real-world deployment necessitates a generalist agent capable of solving multiple tasks simultaneously. In this work, we identify a critical yet underexplored phenomenon in multi-task agentic RL: different tasks can exhibit exploration-exploitation pace mismatch. Specifically, easier tasks may converge early to low-entropy policies that hinder learning on harder tasks, while harder tasks can, in turn, push easier tasks back toward high-entropy exploration. This back-and-forth interaction creates inter-task entropy crossovers and frequent entropy spikes. Inspired by this observation, we introduce Entropy Pacing Policy Optimization (EPPO) for multi-task agentic LLMs, which coordinates entropy across tasks to stabilize multi-task optimization. At the core of EPPO is a task-wise dynamic clipping mechanism that replaces the fixed clipping threshold in Group Relative Policy Optimization (GRPO) with a task entropy-aware adaptive bound, tightening updates for over-confident tasks while relaxing them for under-explored ones. Experiments on the multi-task agentic benchmarks demonstrate that the proposed EPPO yields results superior to its counterparts.