역할-에이전트: 이중 역할 진화를 통한 LLM 에이전트의 초기 학습

Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution

대규모 언어 모델(LLM) 기반 에이전트는 복잡한 작업에서 뛰어난 성능을 보여주지만, 비효율적인 상호작용 피드백과 정적인 학습 환경으로 인해 일반화 능력이 제한되는 경우가 많습니다. 이러한 한계를 극복하기 위해 본 논문에서는 단일 LLM을 사용하여 에이전트와 환경 역할을 동시에 수행함으로써 초기 단계의 협력적 진화를 가능하게 하는 프레임워크인 Role-Agent를 제안합니다. Role-Agent는 World-In-Agent (WIA)와 Agent-In-World (AIW)라는 두 가지 상호 보완적인 구성 요소로 이루어져 있습니다. WIA에서는 LLM이 에이전트 역할을 하며, 각 행동 후 미래 상태를 예측하고, 예측된 상태와 실제 상태 간의 일치도를 프로세스 보상으로 사용하여 환경에 대한 인지 능력을 향상시킵니다. AIW에서는 LLM이 실패한 경로에서 발생하는 오류 패턴을 분석하여 유사한 오류 패턴을 가진 작업을 검색하고, 이를 통해 목표 지향적인 학습을 위한 훈련 데이터 분포를 재구성합니다. 여러 벤치마크 실험 결과, Role-Agent는 일관되게 성능을 향상시키며, 강력한 기준 모델 대비 평균적으로 4% 이상의 성능 향상을 보였습니다.

Although Large Language Model (LLM) agents have demonstrated strong performance on complex tasks, their learning is often limited by inefficient interaction feedback and static training environments, which hinder broader generalization. To address these limitations, this paper introduces Role-Agent, \textcolor{black}{a framework} that harnesses a single LLM to function concurrently as both the agent and the environment, enabling a bootstrapped co-evolution. Role-Agent comprises two synergistic components: World-In-Agent (WIA) and Agent-In-World (AIW). In WIA, the LLM acts as the agent and predicts future states after each action; the alignment between predicted and actual states is then used as a process reward, encouraging environment-aware reasoning. In AIW, the LLM analyzes failure modes from failed trajectories and retrieves tasks with similar failure patterns, thereby reshaping the training data distribution for targeted practice. Experiments on multiple benchmarks show that Role-Agent consistently improves performance, yielding an average gain of over 4\% over strong baselines.