VISOR: 시각적 공간 객체 추론 - 언어 기반 객체 탐색을 위한 방법

VISOR: VIsual Spatial Object Reasoning for Language-driven Object Navigation

언어 기반 객체 탐색은 에이전트가 대상 객체의 자연어 설명을 해석해야 하며, 이는 인스턴스 인식과 상식적인 탐색을 위해 내재적 및 외재적 속성을 결합합니다. 기존 방법들은 (i) 시각-언어 임베딩을 사용한 엔드-투-엔드 학습 모델로서, 학습 데이터 범위를 벗어난 일반화에 어려움을 겪고, 액션 레벨에서의 설명 가능성이 부족하거나, (ii) 대규모 언어 모델(LLM)과 개방형 객체 탐지기를 사용하는 모듈형 제로샷 파이프라인으로서, 오류 전파, 높은 계산 비용, 그리고 추론 결과를 탐색 정책에 통합하는 어려움이 있습니다. 이러한 문제를 해결하기 위해, 우리는 30억 개의 파라미터를 가진 작고 효율적인 시각-언어-행동(VLA) 에이전트를 제안합니다. 이 에이전트는 객체 인식 및 행동 선택을 위한 인간과 유사한 추론을 수행하며, 여러 모델을 연결해야 하는 복잡한 파이프라인의 필요성을 없앱니다. 저희 에이전트는 원시 임베딩 매칭 대신, 명시적인 이미지 기반 추론을 사용하여 "이것이 대상 객체인가?" 및 "왜 이 행동을 해야 하는가?"라는 질문에 직접적으로 답변합니다. 추론 과정은 "생각", "요약", 그리고 "행동"의 세 단계로 구성되며, 이는 향상된 설명 가능성, 강력한 일반화 능력, 그리고 더욱 효율적인 탐색을 가능하게 합니다. 코드는 논문 게재 시 제공될 예정입니다.

Language-driven object navigation requires agents to interpret natural language descriptions of target objects, which combine intrinsic and extrinsic attributes for instance recognition and commonsense navigation. Existing methods either (i) use end-to-end trained models with vision-language embeddings, which struggle to generalize beyond training data and lack action-level explainability, or (ii) rely on modular zero-shot pipelines with large language models (LLMs) and open-set object detectors, which suffer from error propagation, high computational cost, and difficulty integrating their reasoning back into the navigation policy. To this end, we propose a compact 3B-parameter Vision-Language-Action (VLA) agent that performs human-like embodied reasoning for both object recognition and action selection, removing the need for stitched multi-model pipelines. Instead of raw embedding matching, our agent employs explicit image-grounded reasoning to directly answer "Is this the target object?" and "Why should I take this action?" The reasoning process unfolds in three stages: "think", "think summary", and "action", yielding improved explainability, stronger generalization, and more efficient navigation. Code and dataset available upon acceptance.