픽셀만으로 어디까지 갈 수 있을까? 상용 3D ARPG에서의 화면 전용 내비게이션에 대한 예비 연구

How Far Can We Go with Pixels Alone? A Pilot Study on Screen-Only Navigation in Commercial 3D ARPGs

현대의 3D 게임 레벨은 시각적 안내에 크게 의존하지만, 레벨 레이아웃의 내비게이션 가능성은 여전히 정량화하기 어렵다. 기존 연구들은 단순화된 환경에서 플레이를 시뮬레이션하거나 정적 스크린샷을 분석하여 시각적 행동 유도성(affordance)을 파악했지만, 두 설정 모두 플레이어가 복잡한 실제 게임 레벨을 탐색하는 방식을 충실히 반영하지 못한다. 본 논문에서는 기존의 오픈 소스 시각적 행동 유도성 탐지기를 기반으로, 순전히 시각적 행동 유도성만을 사용하여 작동하는 화면 전용(screen-only) 탐색 및 내비게이션 에이전트를 구현한다. 우리의 에이전트는 실시간 게임 프레임을 처리하여 두드러진 관심 지점을 식별하고, 최소한의 행동 공간에서 단순한 유한 상태 컨트롤러를 구동함으로써 다크 소울 스타일의 선형 레벨을 탐색하고 예상되는 목표 영역에 도달하도록 시도한다. 예비 실험에 따르면 에이전트는 대부분의 필수 구간을 통과할 수 있으며 유의미한 시각적 내비게이션 행동을 보여주지만, 기저에 있는 시각 모델의 한계로 인해 완전하고 신뢰할 수 있는 자동 내비게이션을 수행하는 데에는 한계가 있음 또한 확인되었다. 우리는 이 시스템이 복잡한 게임 내 시각적 내비게이션을 위한 구체적이고 공유 가능한 기준선 및 평가 프로토콜을 제공한다고 주장하며, 이 필수적인 과제에 더 많은 관심을 기울일 것을 촉구한다. 우리의 연구 결과는 명시적인 추론 과정 없이 이산적인 단일 모달리티 입력만을 사용하는 순수 비전 기반의 상황 파악(sense-making) 모델이, 이상적인 환경에서는 내비게이션과 환경 이해를 효과적으로 지원할 수 있으나 그 자체만으로는 범용적인 해결책이 되기 어렵다는 것을 시사한다.

Modern 3D game levels rely heavily on visual guidance, yet the navigability of level layouts remains difficult to quantify. Prior work either simulates play in simplified environments or analyzes static screenshots for visual affordances, but neither setting faithfully captures how players explore complex, real-world game levels. In this paper, we build on an existing open-source visual affordance detector and instantiate a screen-only exploration and navigation agent that operates purely from visual affordances. Our agent consumes live game frames, identifies salient interest points, and drives a simple finite-state controller over a minimal action space to explore Dark Souls-style linear levels and attempt to reach expected goal regions. Pilot experiments show that the agent can traverse most required segments and exhibits meaningful visual navigation behavior, but also highlight that limitations of the underlying visual model prevent truly comprehensive and reliable auto-navigation. We argue that this system provides a concrete, shared baseline and evaluation protocol for visual navigation in complex games, and we call for more attention to this necessary task. Our results suggest that purely vision-based sense-making models, with discrete single-modality inputs and without explicit reasoning, can effectively support navigation and environment understanding in idealized settings, but are unlikely to be a general solution on their own.