ReCreate: 경험에 기반한 도메인 에이전트의 추론 및 생성

ReCreate: Reasoning and Creating Domain Agents Driven by Experience

거대 언어 모델 에이전트는 산업 환경을 재편하고 있습니다. 그러나 작업의 종류가 매우 다양하여 구축에 많은 노동력이 소요되기 때문에, 대부분의 실용적인 에이전트는 여전히 사람이 설계하고 있습니다. 이러한 상황은 실제 환경에서 도메인 에이전트를 자동으로 생성하고 조정할 수 있는가에 대한 핵심적인 질문을 제기합니다. 최근 에이전트 생성을 자동화하려는 여러 시도가 있었으나, 이들은 대개 에이전트 생성을 블랙박스 절차로 간주하고 최종 성능 지표에만 의존하여 과정을 진행합니다. 이러한 전략은 에이전트의 성공 또는 실패 원인을 설명하는 중요한 증거를 간과하며, 종종 높은 계산 비용을 초래합니다. 이러한 한계를 극복하기 위해, 우리는 도메인 에이전트의 자동 생성을 위한 경험 기반 프레임워크인 ReCreate를 제안합니다. ReCreate는 에이전트 상호작용 기록을 체계적으로 활용하여 성공 또는 실패의 원인과 개선 방향에 대한 풍부하고 구체적인 신호를 얻습니다. 구체적으로, 우리는 세 가지 핵심 요소를 통해 경험으로부터 효과적으로 학습하는 '최적화 도구로서의 에이전트(agent-as-optimizer)' 패러다임을 도입합니다: (i) 필요시 검사를 수행할 수 있는 경험 저장 및 검색 메커니즘, (ii) 실행 경험을 스캐폴드 편집으로 연결하는 추론-생성 시너지 파이프라인, (iii) 인스턴스 수준의 세부 사항을 재사용 가능한 도메인 패턴으로 추상화하는 계층적 업데이트가 그것입니다. 다양한 도메인에 걸친 실험 결과, ReCreate는 최소한의 시드 스캐폴드에서 시작하더라도 사람이 설계한 에이전트 및 기존의 자동 에이전트 생성 방법보다 일관되게 우수한 성능을 입증했습니다.

Large Language Model agents are reshaping the industrial landscape. However, most practical agents remain human-designed because tasks differ widely, making them labor-intensive to build. This situation poses a central question: can we automatically create and adapt domain agents in the wild? While several recent approaches have sought to automate agent creation, they typically treat agent generation as a black-box procedure and rely solely on final performance metrics to guide the process. Such strategies overlook critical evidence explaining why an agent succeeds or fails, and often require high computational costs. To address these limitations, we propose ReCreate, an experience-driven framework for the automatic creation of domain agents. ReCreate systematically leverages agent interaction histories, which provide rich concrete signals on both the causes of success or failure and the avenues for improvement. Specifically, we introduce an agent-as-optimizer paradigm that effectively learns from experience via three key components: (i) an experience storage and retrieval mechanism for on-demand inspection; (ii) a reasoning-creating synergy pipeline that maps execution experience into scaffold edits; and (iii) hierarchical updates that abstract instance-level details into reusable domain patterns. In experiments across diverse domains, ReCreate consistently outperforms human-designed agents and existing automated agent generation methods, even when starting from minimal seed scaffolds.