장면 자가 탐색을 통한 시야 기반 계획

Planning with the Views via Scene Self-Exploration

대규모 비전 언어 모델(VLM)이 각 카메라 이동이 시야에 미치는 영향을 예측하고, 여러 번의 이동을 미리 계획할 수 있을까요? 우리는 이러한 능력을 '시야 계획'이라고 부르며, 이는 (1) 단일 동작이 시야를 어떻게 변화시키는지 이해하고, (2) 다중 단계 계획에서 이러한 변화들을 조합하여 목표 시야를 식별하는 것을 요구합니다. 저희는 제안하는 ViewSuite라는 3D 포인트 클라우드 환경(실제 ScanNet 장면 기반)에서 이러한 능력을 평가했습니다. 13개의 최첨단 VLM을 분석한 결과, 중요한 계획 능력 격차가 드러났습니다. 이 모델들은 기본적인 시야-동작 지식을 가지고 있지만, 다중 단계 계획에서 이를 조합하는 데 실패하며, 관점 간 거리가 멀어질수록 이 격차는 더욱 커집니다. 이러한 격차를 해소하기 위해, 저희는 자가 탐색과 시야 그래프 추출을 반복하는 프레임워크를 제안합니다. 핵심적인 통찰은 다음과 같습니다. 모든 탐색 경로(결과에 관계없이)는 장면 전체에서 관점 간의 연결 방식을 압축적으로 나타내는 시야 그래프를 형성합니다. 이 그래프를 다양한 지도 학습 작업으로 추출하면 정책 분포가 재구성되고, 순수 강화 학습에서 발생하는 희소 보상 문제를 극복할 수 있습니다. 이를 통해 Qwen2.5-VL-7B 모델의 대화형 시야 계획 성능이 2.5%에서 47.8%로 향상되었으며, 이는 GPT-5.4 Pro (18.5%) 및 Gemini 3.1 Pro (21.4%)를 능가하는 결과입니다. 자가 탐색은 3차원 공간에서 능동적으로 추론하고 계획할 수 있는 VLM을 개발하기 위한 유망한 방법으로 부상했습니다.

Can VLMs predict how each camera move changes the view, and plan many such moves ahead? We call this capability view planning, requiring (1)understanding how a single action transforms the view, and (2)composing many such transformations across multi-turn plans to identify a target view. We probe both abilities in our proposed ViewSuite, a 3D point-cloud environment on real ScanNet scenes. Across 13 frontier VLMs, a critical planning gap emerges: they possess basic view-action knowledge but fail to compose it across multi-turn plans, with the gap widening as viewpoint distance grows. To close this gap, we propose an iterative framework that alternates self-exploration with view graph distillation. The key insight is that all exploration trajectories, regardless of their outcome, collectively form a view graph that compactly captures how viewpoints connect across a scene. Distilling this graph into diverse supervised tasks reshapes the policy distribution and overcomes the sparse rewards that stall pure RL. This improves Qwen2.5-VL-7B from 2.5% to 47.8% on interactive view planning, surpassing GPT-5.4 Pro (18.5%) and Gemini 3.1 Pro (21.4%). Self-exploration emerges as a promising path toward VLMs that can actively reason and plan in 3D space.