현재의 에이전트들은 세계 모델을 예측 도구로 활용하지 못한다

Current Agents Fail to Leverage World Model as Tool for Foresight

시각-언어 모델을 기반으로 구축된 에이전트들은 단기적인 추론에 의존하기보다 미래 상태에 대한 예측을 요구하는 작업에 점차 더 많이 직면하고 있다. 생성형 세계 모델은 이에 대한 유망한 해결책을 제시하며, 에이전트는 이를 외부 시뮬레이터로 사용하여 행동하기 전에 결과를 미리 예견할 수 있다. 본 논문은 현재의 에이전트들이 인지 능력을 향상시키기 위한 도구로서 이러한 세계 모델을 실제로 활용할 수 있는지 실증적으로 검증한다. 다양한 에이전트 작업 및 시각적 질의응답 작업 전반에 걸쳐 관찰한 결과, 일부 에이전트는 시뮬레이션을 거의 호출하지 않거나(1% 미만), 예측된 전개 결과를 빈번하게 오용하며(약 15%), 시뮬레이션이 제공되거나 강제될 때 일관성 없는 모습이나 심지어 성능 저하(최대 5%)를 보이는 것으로 나타났다. 원인 분석 결과, 주요 병목 현상은 언제 시뮬레이션을 수행할지 결정하고, 예측된 결과를 어떻게 해석하며, 이러한 예견을 후속 추론 과정에 어떻게 통합할지에 대한 에이전트의 능력 부족에 기인하는 것으로 밝혀졌다. 이러한 결과는 세계 모델과의 보정되고 전략적인 상호작용을 촉진하는 메커니즘의 필요성을 강조하며, 향후 에이전트 시스템에서 보다 신뢰할 수 있는 예측적 인지를 구현하기 위한 방향을 제시한다.

Agents built on vision-language models increasingly face tasks that demand anticipating future states rather than relying on short-horizon reasoning. Generative world models offer a promising remedy: agents could use them as external simulators to foresee outcomes before acting. This paper empirically examines whether current agents can leverage such world models as tools to enhance their cognition. Across diverse agentic and visual question answering tasks, we observe that some agents rarely invoke simulation (fewer than 1%), frequently misuse predicted rollouts (approximately 15%), and often exhibit inconsistent or even degraded performance (up to 5%) when simulation is available or enforced. Attribution analysis further indicates that the primary bottleneck lies in the agents' capacity to decide when to simulate, how to interpret predicted outcomes, and how to integrate foresight into downstream reasoning. These findings underscore the need for mechanisms that foster calibrated, strategic interaction with world models, paving the way toward more reliable anticipatory cognition in future agent systems.