장기적인 도구 사용 에이전트의 목표 달성을 위한 효율적인 강화 학습

Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks

장기적으로 도구를 사용하는 에이전트는 사용자 목표, 환경 정책, 도구 호출, 시뮬레이터 상태 및 지연된 검증 가능한 보상에 대해 추론해야 합니다. 강화 학습(RL)은 이러한 설정에 적합하지만, 다단계 on-policy rollouts는 긴 문맥을 생성하며, 모델별 어텐션 레이어는 사용자 정의 마스크와 학습된 sink 정규화를 필요로 할 수 있습니다. 본 논문에서는 이중 제어 도구 사용 환경에서의 강화 학습을 위한 모듈형 훈련 시스템인 SINKFLEX-RL을 제시합니다. 이 시스템은 Gymnasium과 호환되는 환경 래퍼, VERL 스타일의 rollout 데이터 흐름, 별도의 가치 모델 없이 그룹 상대적 정책 최적화, 그리고 원인 및 슬라이딩 윈도우 마스크 하에서 모델별 sink 스케일링을 유지하도록 설계된 sink 인식 FlexAttention 경로를 결합합니다. Tau2Bench 소매 환경에서의 초기 실험 결과, 검증 보상(mean@1)이 훈련 초기에 0.25에서 관찰된 훈련 기간 후반에 $0.44$로 상승했으며, 훈련 점수 및 trajectory-reward 지표 또한 상향 추세를 보였습니다. 고정 구성 메모리 벤치마크에서는 최적화된 어텐션 경로가 VRAM 피크를 4096 토큰에서 28.06GB에서 22.52GB로 $19.7%$ 감소시켰으며, 측정된 8192 토큰 구성은 25.53GB의 메모리를 사용하여 실행되었지만, eager baseline에서는 메모리 부족으로 인해 실행이 중단되었습니다. 이러한 결과는 환경 인터페이스, 강화 학습 데이터 흐름 및 어텐션 커널 설계를 통합하여 메모리 제약 하에서 장기적인 에이전트 훈련을 가능하게 한다는 것을 보여줍니다.

Long-horizon tool-using agents must reason over user goals, domain policies, tool calls, simulator state, and delayed verifiable rewards. Reinforcement learning (RL) is a natural fit for this setting, but multi-turn on-policy rollouts create long contexts, while model-specific attention layers may require custom masks and learned sink normalization. We present SINKFLEX-RL, a modular training system for RL in dual-control tool-use environments. The system combines a Gymnasium-compatible environment wrapper, a VERL-style rollout dataflow, group-relative policy optimization without a separate value model, and a sink-aware FlexAttention path designed to preserve model-specific sink scaling under causal and sliding-window masks. In a preliminary Tau2Bench retail run, validation reward (mean@1) rises from 0.25 early in training to $0.44$ later in the observed training window, while training-score and trajectory-reward proxies also trend upward. In a fixed-configuration memory benchmark, the optimized attention path reduces peak VRAM from 28.06GB to 22.52GB at 4096 tokens, a $19.7\%$ reduction, and runs the measured 8192-token configuration using $25.53$~GB where the eager baseline runs out of memory. These results illustrate the value of integrating environment interfaces, RL dataflow, and attention-kernel design for memory-feasible long-horizon agent training.