VirtualEnv: 인공지능 연구를 위한 플랫폼

VirtualEnv: A Platform for Embodied AI Research

대규모 언어 모델(LLM)이 추론 및 의사 결정 능력에서 지속적으로 발전함에 따라, 이러한 능력들이 엄격하게 평가될 수 있는 현실적이고 상호작용적인 환경에 대한 요구가 증가하고 있습니다. 본 논문에서는 Unreal Engine 5를 기반으로 구축된 차세대 시뮬레이션 플랫폼인 VirtualEnv를 소개합니다. VirtualEnv는 인공지능 에이전트가 상호작용하는 환경에서 LLM의 성능을 세밀하게 평가할 수 있도록 설계되었습니다. VirtualEnv는 객체 조작, 탐색, 적응형 다중 에이전트 협력과 같은 풍부한 에이전트-환경 상호작용을 지원하며, 탈출 게임 및 절차적으로 생성된 환경과 같은 게임에서 영감을 받은 메커니즘도 포함합니다. 우리는 Unreal Engine을 기반으로 구축된 사용하기 쉬운 API를 제공하여 연구자들이 자연어 명령을 사용하여 LLM 기반 에이전트를 배포하고 제어할 수 있도록 합니다. 또한 GPT 기반 모델과 같은 대규모 LLM과 시각-언어 모델(VLM)을 통합하여 멀티모달 입력을 기반으로 새로운 환경과 구조화된 작업을 생성합니다. 우리는 다양한 인기 LLM의 성능을 점진적으로 복잡해지는 작업에 대해 벤치마킹하고, 적응성, 계획 및 다중 에이전트 협조에서의 차이점을 분석합니다. 또한 절차적 작업 생성, 작업 검증 및 실시간 환경 제어에 대한 방법론을 설명합니다. VirtualEnv는 오픈 소스 플랫폼으로 공개되며, 인공지능과 게임의 융합 연구를 발전시키고, 인공지능 환경에서 LLM의 표준화된 평가를 가능하게 하며, 몰입형 시뮬레이션 및 인터랙티브 엔터테인먼트 분야의 미래 발전을 위한 기반을 마련하고자 합니다.

As large language models (LLMs) continue to improve in reasoning and decision-making, there is a growing need for realistic and interactive environments where their abilities can be rigorously evaluated. We present VirtualEnv, a next-generation simulation platform built on Unreal Engine 5 that enables fine-grained benchmarking of LLMs in embodied and interactive scenarios. VirtualEnv supports rich agent-environment interactions, including object manipulation, navigation, and adaptive multi-agent collaboration, as well as game-inspired mechanics like escape rooms and procedurally generated environments. We provide a user-friendly API built on top of Unreal Engine, allowing researchers to deploy and control LLM-driven agents using natural language instructions. We integrate large-scale LLMs and vision-language models (VLMs), such as GPT-based models, to generate novel environments and structured tasks from multimodal inputs. Our experiments benchmark the performance of several popular LLMs across tasks of increasing complexity, analyzing differences in adaptability, planning, and multi-agent coordination. We also describe our methodology for procedural task generation, task validation, and real-time environment control. VirtualEnv is released as an open-source platform, we aim to advance research at the intersection of AI and gaming, enable standardized evaluation of LLMs in embodied AI settings, and pave the way for future developments in immersive simulations and interactive entertainment.