RODS: 보상 기반 온라인 데이터 합성 기법 - 다중 단계 도구 사용 에이전트를 위한 방법

RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents

다중 단계 도구 사용 강화 학습(RL)은 정적 데이터셋에서 유용한 샘플이 빠르게 고갈되는 문제로 인해 성능 향상이 제한됩니다. 우리는 GRPO 알고리즘의 기울기 신호가 가장 높은 롤아웃 보상 분산을 갖는 작업에 집중된다는 것을 관찰했는데, 이는 Popoviciu 상한의 결과입니다. 그 결과, 에이전트의 능력 경계 근처의 샘플(성공과 실패의 비율이 거의 동일한 영역)은 정책 기울기에 비례적으로 큰 영향을 미칩니다. 훈련이 진행됨에 따라 이 경계는 지속적으로 이동하며, 이는 정적 데이터셋에서 유용한 샘플 풀을 점진적으로 고갈시킵니다. 우리는 이러한 현상을 해결하기 위해 RODS(보상 기반 온라인 데이터 합성)를 제안합니다. RODS는 RL 학습과 데이터 생성 간의 루프를 구축하여 훈련 과정에서 얻은 보상 분산을 실제적이고 비용이 없는 경계 감지기로 활용합니다. 이 방법은 추가적인 추론 없이도 기존에 계산된 롤아웃 데이터를 사용하여 작동합니다. RODS는 지속적으로 이러한 경계 샘플을 식별하고, 에이전트의 스킬과 관련된 복잡성을 반영하는 새로운 다중 단계 변형을 재샘플링 파이프라인을 통해 생성하며, 정책과 함께 진화하는 동적 재생 버퍼를 관리합니다. 400개의 인간 제작 시드 데이터로 시작하여 약 800개 샘플의 활성 훈련 풀을 유지하면서, RODS는 17,000개 샘플의 오프라인 파이프라인과 유사한 성능을 달성하면서도 대략 20배 적은 수의 트레이젝토리를 사용합니다. 또한, 우리의 제어된 환경에서 기존의 고정 데이터 RL 및 환경 증강 방식보다 더 나은 성능을 보입니다.

Multi-turn tool-use RL is bottlenecked by the rapid depletion of informative samples in static datasets. We observe that the gradient signal in GRPO concentrates on tasks with the highest rollout reward variance, a consequence of the Popoviciu upper bound. Consequently, samples near the agent's capability boundary -- where successes and failures are roughly balanced -- contribute disproportionately large policy gradients. As training progresses, this boundary continuously shifts, which gradually depletes the pool of informative samples in a static dataset. We propose RODS (Reward-driven Online Data Synthesis) to resolve this depletion. RODS closes the loop between RL training and data generation by repurposing the progress reward variance as a practical, zero-cost boundary detector that requires no extra inference beyond the rollouts already computed for training. It continuously identifies such boundary samples, synthesizes new multi-turn variants matching their structural complexity (e.g., API topology and dependency depth) via a skill-aligned resampling pipeline, and manages a dynamic replay buffer that co-evolves with the policy. Starting from 400 human seeds and maintaining an active training pool of ~800 samples, RODS achieves comparable performance to a 17K-sample offline pipeline while requiring roughly 20x fewer trajectories, and improves over fixed-data RL and environment augmentation in our controlled setting.