TRIAGE: 역할 기반 신용 할당을 통한 에이전트 강화 학습

TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning

에이전트 강화 학습에서는 검색, 클릭, 편집, 탐색 명령 및 객체 상호 작용과 같은 환경과의 상호 작용에 대한 행동의 중요도를 평가해야 합니다. 기존의 GRPO 방법은 최종 검증 결과를 모든 행동 토큰에 대해 동일한 이점(advantage)으로 사용합니다. 이러한 결과 신호는 유용하지만 구조적으로 불완전하여, 실패한 시나리오에서는 유용한 탐색을 억제하고 성공적인 시나리오에서는 중복되거나 퇴행적인 행동을 강화할 수 있습니다. 본 논문에서는 TRIAGE라는 역할 기반 신용 할당 프레임워크를 제안합니다. 이 프레임워크는 결과 신호에 의미론적 역할을 추가하여 각 세그먼트를 결정적인 진전, 유용한 탐색, 아무런 진전이 없는 인프라 구성 요소 또는 퇴행으로 분류하고, 고정된 역할 조건 규칙을 사용하여 이러한 레이블을 특정 세그먼트 수준의 보상으로 매핑합니다. 이를 통해 검증 결과는 여전히 최적화 방향의 주요 정보원 역할을 하지만, 결과 신호만 사용하는 방식의 두 가지 주요 단점을 보완합니다. 또한, 역할에 기반한 신용 할당이 역할 레이블 자체에서 표현 가능한 최적의 세그먼트 수준 수정 방법임을 보여줍니다. 즉, 각 세그먼트별 이점 잔차를 역할 변수에 투영하여 고정된 역할 상수가 판별기가 정확할 때마다 이점 추정 오류를 줄입니다. 이는 정책 그래디언트의 분산을 낮추는 데 기여합니다. ALFWorld, Search-QA 및 WebShop 환경에서 TRIAGE는 두 가지 정책 모델에 대해 GRPO보다 성공률을 향상시켰으며, 스칼라 판별기 기반 보상과 결과 감독 공유 백본 가치 기준 모두를 능가하는 성능을 보였습니다. 실험 결과, 성능 향상은 단순히 밀집된 보상을 추가하는 것이 아니라 역할 분류에서 비롯되며, 성공적인 경로 내에서 퇴행을 정확하게 감지하는 것이 주된 요인이었습니다. 또한, 탐색에 대한 신용 할당은 꾸준한 2차적인 이점을 제공합니다. 완성된 ALFWorld 및 WebShop 시나리오에서 TRIAGE는 GRPO에 비해 환경과의 상호 작용 횟수를 각각 10.4%와 14.8% 줄였습니다.

Agentic reinforcement learning requires assigning credit to environment-facing actions such as searches, clicks, edits, navigation commands, and object interactions. Standard GRPO uses the final verifier outcome as a uniform advantage over all action tokens. This outcome signal is useful but structurally incomplete: it punishes useful exploration in failed rollouts and reinforces redundant or regressive actions in successful rollouts. We propose TRIAGE, a role-typed credit assignment framework that adds a semantic role axis to outcome credit. A structured judge classifies each segment as decisive progress, useful exploration, no-progress infrastructure, or regression, and a fixed role-conditioned rule maps these labels to bounded segment-level process rewards. This keeps verifier outcomes as the source of optimization direction while correcting the two main blind spots of outcome-only credit. We further show that role-conditioned credit is the optimal segment-level correction expressible from role labels alone -- a projection of the per-segment advantage residual onto the role variable -- so that the fixed role constants reduce advantage estimation error whenever the judge is reliable, and we connect this to lower-variance policy gradients. Across ALFWorld, Search-QA, and WebShop, TRIAGE improves success rates over GRPO for two policy models and outperforms both a scalar judge-derived process reward and an outcome-supervised shared-backbone value baseline. Ablations show that the gain comes from role typing rather than merely adding dense rewards: reliable detection of regression inside successful trajectories is the dominant contributor, while exploration credit provides a consistent secondary gain; on completed ALFWorld and WebShop rollouts, TRIAGE also reduces environment-facing turns by an additional $10.4\%$ and $14.8\%$ relative to GRPO.