대규모 언어 모델을 위한 능동적 환경 엔지니어링: 환경 모델링, 합성, 평가 및 응용에 대한 개관

Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application

다양한 시나리오에서 대규모 언어 모델(LLM) 기반 에이전트의 상호 작용 시스템으로서 환경은 중요한 역할을 하며, 모델 기능의 지속적인 발전을 이끄는 데 기여합니다. 그러나 이러한 중요성에도 불구하고 기존 연구는 체계적인 분류 및 심층적인 분석이 부족한 실정입니다. 본 논문에서는 환경 엔지니어링 라이프사이클의 관점에서 에이전트 환경에 대한 현재 연구를 체계적으로 조사하며, 환경 모델링, 합성, 평가 및 응용을 다룹니다. 구체적으로, 본 논문은 먼저 8가지 속성과 8가지 도메인의 관점에서 대표적인 환경들을 소개하고, 그 개발 경로를 상세히 분석하며 핵심 기능을 강조합니다. 또한, 자동화된 환경 합성을 위해 심볼릭 합성 및 신경망 합성 등 두 가지 패러다임을 제시하고, 각 패러다임에서 다양한 환경 평가 방법을 보여줍니다. 세 번째로, 에이전트-환경 공진화의 관점에서 해당 환경 응용을 논의합니다. 특히, 본 논문은 동적 환경에서의 에이전트 진화에 대한 주요 경로를 다음과 같은 네 가지 상호 보완적인 관점에서 분석합니다: 기억 중심 경험 진화, 오케스트레이션 중심 워크플로우 진화, 트래젝토리 중심 오프라인 진화 및 탐색 중심 온라인 진화. 또한 신경망 기반, 난이도 기반, 확장 기반 접근 방식 등 세 가지 환경 진화 패러다임을 식별합니다. 마지막으로, 환경 서비스(Environment-as-a-Service), 멀티 에이전트 환경, 신경-심볼릭 환경 등 유망한 미래 연구 방향을 논의합니다.

Environments serve as interactive systems for large language model (LLM) based agents across diverse scenarios and play a crucial role in driving the continual evolution of model capabilities. Despite this importance, existing work lacks a systematic categorization and deep analysis. This paper systematically studies current researches on agentic environments from the perspective of the environment engineering lifecycle, covering their modeling, synthesis, evaluation and application. Specifically, the paper first introduces representative environments from the perspectives of eight attributes and eight domains, providing detailed analyses of their development paths and highlighting their core capabilities. Second, for automated environment synthesis, two paradigms are introduced, such as symbolic synthesis and neural synthesis. This paper also shows different environment evaluation methods in each paradigm. Thirdly, the corresponding environment applications from the perspective of agent-environment co-evolution are discussed. In specific, the paper characterizes the primary pathways for agent evolution in dynamic environments from four complementary perspectives: memory-centric experience evolution, orchestration-centric workflow evolution, trajectory-centric offline evolution, and exploration-centric online evolution. And three paradigms of environment evolution are identified, namely neural-driven, difficulty-driven, and scaling-driven approaches. At last, several promising future directions are discussed, including Environment-as-a-Service, Multi-agent Environments, and Neural-Symbolic Environments.