컷씬 에이전트: 자동화된 3D 컷씬 생성 시스템을 위한 LLM 에이전트 프레임워크

Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation

컷씬은 비디오 게임 및 인터랙티브 미디어에 내장된 정교하게 구성된 시네마틱 시퀀스로, 스토리 전달, 캐릭터 개발 및 감정적 몰입의 주요 수단 역할을 합니다. 컷씬 제작은 본질적으로 복잡하며, 시나리오 작성, 촬영, 캐릭터 애니메이션, 성우 연기 및 기술 지휘 등 다양한 분야의 원활한 협업을 요구하며, 종종 다학제 팀이 수일에서 수주 동안 협력하여 몇 분의 완성된 콘텐츠를 제작합니다. 본 연구에서는 자동화된 엔드 투 엔드 컷씬 생성을 위한 LLM 에이전트 프레임워크인 '컷씬 에이전트'를 소개합니다. 이 프레임워크는 다음과 같은 세 가지 주요 기여를 합니다: (1) 모델 컨텍스트 프로토콜(MCP)을 기반으로 구축된 '컷씬 툴킷'으로, LLM 에이전트와 게임 엔진 간의 양방향 통합을 가능하게 하여, 에이전트가 엔진 작업을 실행하는 동시에 실시간 장면 상태를 지속적으로 관찰함으로써 편집 가능한 엔진 기반의 시네마틱 에셋을 생성할 수 있습니다; (2) 디렉터 에이전트가 애니메이션, 촬영, 음향 디자인 등 전문 분야의 하위 에이전트를 조율하는 다중 에이전트 시스템으로, 시각적 추론 피드백 루프를 통해 인식 기반의 개선을 수행합니다; (3) 컷씬 생성을 위한 계층적 평가 벤치마크인 '컷씬벤치'. 기존의 도구 사용 벤치마크가 짧고 독립적인 함수 호출을 평가하는 반면, 컷씬 생성은 수십 개의 상호 의존적인 도구 호출을 엄격한 순서 제약 조건 하에 장기간에 걸쳐 조정해야 하는 복잡한 작업이며, 이는 기존 벤치마크에서 다루지 못하는 중요한 측면입니다. 우리는 다양한 LLM을 컷씬벤치에서 평가하고, 이 어려운 작업에서의 성능을 분석합니다.

Cutscenes are carefully choreographed cinematic sequences embedded in video games and interactive media, serving as the primary vehicle for narrative delivery, character development, and emotional engagement. Producing cutscenes is inherently complex: it demands seamless coordination across screenwriting, cinematography, character animation, voice acting, and technical direction, often requiring days to weeks of collaborative effort from multidisciplinary teams to produce minutes of polished content. In this work, we present Cutscene Agent, an LLM agent framework for automated end-to-end cutscene generation. The framework makes three contributions: (1)~a Cutscene Toolkit built on the Model Context Protocol (MCP) that establishes \emph{bidirectional} integration between LLM agents and the game engine -- agents not only invoke engine operations but continuously observe real-time scene state, enabling closed-loop generation of editable engine-native cinematic assets; (2)~a multi-agent system where a director agent orchestrates specialist subagents for animation, cinematography, and sound design, augmented by a visual reasoning feedback loop for perception-driven refinement; and (3)~CutsceneBench, a hierarchical evaluation benchmark for cutscene generation. Unlike typical tool-use benchmarks that evaluate short, isolated function calls, cutscene generation requires long-horizon, multi-step orchestration of dozens of interdependent tool invocations with strict ordering constraints -- a capability dimension that existing benchmarks do not cover. We evaluate a range of LLMs on CutsceneBench and analyze their performance across this challenging task.