재귀적 에이전트 최적화

Recursive Agent Optimization

본 논문에서는 재귀적 에이전트 훈련을 위한 강화 학습 방법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 자신을 재귀적으로 복제하여 하위 작업을 생성하고 위임할 수 있는 에이전트입니다. 재귀적 에이전트는 추론 시에 확장 가능한 알고리즘을 구현하여, 에이전트가 더 긴 맥락에 적응하고 분할 정복 방식을 통해 더 어려운 문제에 일반화할 수 있도록 합니다. RAO는 이러한 재귀적 추론을 최대한 활용하도록 모델을 훈련하는 방법을 제공하며, 에이전트가 언제, 어떻게 하위 작업을 위임하고 통신해야 하는지를 학습시킵니다. 실험 결과, 이 방식으로 훈련된 재귀적 에이전트는 더 나은 훈련 효율성을 보여주며, 모델의 컨텍스트 창을 초과하는 작업에 확장할 수 있고, 훈련된 에이전트보다 훨씬 어려운 작업에 일반화될 수 있으며, 단일 에이전트 시스템과 비교하여 더 짧은 실행 시간을 갖는다는 것을 확인했습니다.

We introduce Recursive Agent Optimization (RAO), a reinforcement learning approach for training recursive agents: agents that can spawn and delegate sub-tasks to new instantiations of themselves recursively. Recursive agents implement an inference-time scaling algorithm that naturally allows agents to scale to longer contexts and generalize to more difficult problems via divide-and-conquer. RAO provides a method to train models to best take advantage of such recursive inference, teaching agents when and how to delegate and communicate. We find that recursive agents trained in this way enjoy better training efficiency, can scale to tasks that go beyond the model's context window, generalize to tasks much harder than the ones the agent was trained on, and can enjoy reduced wall-clock time compared to single-agent systems.