VirtualEnv: 임바디드 AI 연구를 위한 플랫폼

VirtualEnv: A Platform for Embodied AI Research

대규모 언어 모델(LLM)의 추론 및 의사 결정 능력이 지속적으로 향상됨에 따라, 이러한 능력을 엄격하게 평가할 수 있는 현실적이고 상호 작용 가능한 환경에 대한 필요성이 커지고 있습니다. 본 논문에서는 언리얼 엔진 5(Unreal Engine 5)를 기반으로 구축된 차세대 시뮬레이션 플랫폼인 VirtualEnv를 제안합니다. 이 플랫폼은 임바디드(embodied) 및 대화형 시나리오에서 LLM을 정밀하게 벤치마킹할 수 있게 해줍니다. VirtualEnv는 물체 조작, 내비게이션, 적응형 멀티 에이전트 협업을 포함한 풍부한 에이전트-환경 상호 작용을 지원하며, 방 탈출 및 절차적으로 생성된 환경과 같은 게임에서 영감을 받은 메커니즘도 지원합니다. 또한 언리얼 엔진 기반의 사용자 친화적인 API를 제공하여, 연구자들이 자연어 지시를 통해 LLM 구동 에이전트를 배포하고 제어할 수 있도록 합니다. 우리는 GPT 기반 모델과 같은 대규모 LLM 및 시각-언어 모델(VLM)을 통합하여, 멀티모달 입력으로부터 새로운 환경과 구조화된 작업을 생성합니다. 본 연구의 실험은 복잡도가 증가하는 여러 작업에 걸쳐 다양한 인기 LLM의 성능을 벤치마킹하고, 적응성, 계획 수립, 멀티 에이전트 조정 능력의 차이를 분석합니다. 또한 절차적 작업 생성, 작업 검증, 실시간 환경 제어를 위한 방법론을 설명합니다. VirtualEnv는 오픈 소스 플랫폼으로 공개되며, 우리는 AI와 게임의 융합 연구를 발전시키고, 임바디드 AI 환경에서 LLM의 표준화된 평가를 가능하게 하며, 몰입형 시뮬레이션 및 인터랙티브 엔터테인먼트의 미래 발전을 위한 초석을 다지는 것을 목표로 합니다.

As large language models (LLMs) continue to improve in reasoning and decision-making, there is a growing need for realistic and interactive environments where their abilities can be rigorously evaluated. We present VirtualEnv, a next-generation simulation platform built on Unreal Engine 5 that enables fine-grained benchmarking of LLMs in embodied and interactive scenarios. VirtualEnv supports rich agent-environment interactions, including object manipulation, navigation, and adaptive multi-agent collaboration, as well as game-inspired mechanics like escape rooms and procedurally generated environments. We provide a user-friendly API built on top of Unreal Engine, allowing researchers to deploy and control LLM-driven agents using natural language instructions. We integrate large-scale LLMs and vision-language models (VLMs), such as GPT-based models, to generate novel environments and structured tasks from multimodal inputs. Our experiments benchmark the performance of several popular LLMs across tasks of increasing complexity, analyzing differences in adaptability, planning, and multi-agent coordination. We also describe our methodology for procedural task generation, task validation, and real-time environment control. VirtualEnv is released as an open-source platform, we aim to advance research at the intersection of AI and gaming, enable standardized evaluation of LLMs in embodied AI settings, and pave the way for future developments in immersive simulations and interactive entertainment.