EnvACE: 에이전트 강화 학습을 위한 월드 리허설을 통한 환경 동역학 내재화

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

대규모 언어 모델(LLM) 기반 에이전트를 장기적인 도구 사용에 활용하기 위해서는 일반적으로 실제 또는 합성된 실행 가능한 환경과의 상호작용이 필요하지만, 이러한 환경의 구축 및 검증에는 많은 비용이 들거나, 외부 시뮬레이터를 사용하는 경우 현실 세계와의 연계가 어렵습니다. 본 연구에서는 EnvACE라는 에이전트 강화 학습 방법을 제안합니다. EnvACE는 훈련 과정에서 외부 환경과의 직접적인 상호작용을 대신하여 '월드 리허설' 기법을 사용합니다. 정책은 행동과 리허설 단계를 반복하며, 먼저 도구 호출을 생성한 후, 해당 행동에 따른 환경의 반응을 시뮬레이션하여 에이전트가 스스로 '환경' 역할을 수행하고, 이후 결정은 이러한 재현된 결과(rehearsed response)를 바탕으로 이루어집니다. 두 가지 역할 모두 작업 성공 보상을 통해 end-to-end 방식으로 공동 최적화됩니다. 월드 리허설을 통해 정책은 행동과 그에 따른 환경 반응 간의 관계를 내부 파라미터에 내재화하여, 에이전트가 직접 의사 결정을 지원하는 세계 모델을 구축합니다. BFCL-v4, tau^2-Bench, VitaBench, 및 FinMCP-Bench 데이터셋에서 EnvACE는 뛰어난 성능과 일반화 능력을 보여주며, 전반적인 평가에서 환경 규모에 따른 기준 방법보다 우수한 결과를 얻었습니다. 추가적으로 진행된 통제 실험에서는 월드 리허설이 다양한 모델 크기에서 정책 학습을 지속적으로 향상시키는 것을 확인했습니다. 테스트 단계에서 내부화된 세계 모델은 실제 실행 전에 '사적(private) 리허설'을 가능하게 하여, 제한적인 리허설 예산을 사용하면서도 추가적인 외부 상호작용 없이 더 큰 성능 향상을 가져올 수 있습니다. 본 연구의 결과는 월드 리허설이 외부 환경의 제약에서 벗어나 LLM 에이전트 훈련을 확장하는 새로운 방법론임을 보여줍니다. 저희 코드는 다음 GitHub 주소에서 공개적으로 이용할 수 있습니다: https://github.com/Within-yao/EnvACE.

Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.