ReGRPO: 도구 사용 에이전트를 위한 반사 강화 정책 최적화

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

도구를 활용하는 비전-언어 모델(VLMs)은 외부 도구를 호출하여 다중 모달, 다단계 작업을 해결할 수 있지만, 실제로는 불안정성을 나타냅니다. 기존 연구에서는 두 가지 주요한 한계점이 존재합니다. 지도 학습(SFT)은 주로 성공적인 경로를 기반으로 하며, 도구 실패 이후의 복구에 대한 정보를 거의 제공하지 않습니다. 또한, 희소한 경로 수준의 강화 학습 보상은 어떤 단계에서 실패했는지, 그리고 어떻게 수정해야 하는지에 대한 제한적인 지침을 제공합니다. 본 논문에서는 도구 사용 에이전트에서 반사(reflection) 기반의 교정을 학습하는 프레임워크인 ReGRPO(Reflection-augmented Group Relative Policy Optimization)를 소개합니다. ReGRPO는 구조화된 반사 데이터 엔진으로 시작하여, 실패 가능성이 높은 행동을 실행하여 구체적인 실패 사례를 수집하고, (오류 유형, 증거, 수정 계획)과 함께 수정된 행동이 결합된 '반사의 사고(Reflection-of-Thought)' 삼중항 데이터를 구축하여 초기 지도 학습에 활용합니다. 이후, 그룹 상대적 이점을 사용하여 반사 토큰과 교정 행동을 로컬 경로 내에서 공동으로 최적화하고, 불필요한 반사를 줄이기 위해 반사 비용 항을 포함합니다. GTA 및 GAIA 데이터셋에서의 실험 결과, 동일한 기본 모델과 도구 세트를 사용할 때 ReGRPO는 강력한 오픈 소스 기준 모델보다 일관되게 우수한 성능을 보이며, 비교된 오픈 소스 제어기 중에서 최고의 결과를 달성했습니다. 코드와 RoT 데이터는 다음 링크에서 확인할 수 있습니다: https://github.com/showlab/ReGRPO.

Tool-augmented vision-language models (VLMs) can solve multimodal, multi-step tasks by calling external tools, yet they remain fragile in practice. Existing works have two common gaps. Supervised fine-tuning (SFT) is built mostly on successful trajectories and offers little signal for recovery after tool failures, while sparse trajectory-level RL rewards provide limited guidance on which step failed and how to repair it. We introduce ReGRPO (Reflection-augmented Group Relative Policy Optimization), a framework that learns reflection-guided correction in tool-using agents. ReGRPO starts with a structured reflective data engine: we execute near-miss actions to collect grounded failure observations, then build Reflection-of-Thought triplets (ErrorType, Evidence, FixPlan) paired with corrected actions for warm-start SFT. We then optimize reflection tokens and corrective actions jointly within local trajectories using group-relative advantages, and include a reflection-cost term to reduce unnecessary reflection. Experiments on GTA and GAIA show that, under the same backbone and tool suite, ReGRPO consistently outperforms strong open-source baselines and achieves the best results among the compared open-source controllers. Code and RoT data are available at https://github.com/showlab/ReGRPO.