SeqWalker: 계층적 계획을 이용한 순차적 시야-언어 탐색

SeqWalker: Sequential-Horizon Vision-and-Language Navigation with Hierarchical Planning

순차적 시야-언어 탐색(SH-VLN)은 에이전트가 복잡하고 장기적인 언어 지시에 따라 여러 작업을 순차적으로 수행해야 하는 어려운 과제입니다. 현재의 시야-언어 탐색 모델은 이러한 다중 작업 지시에서 상당한 성능 저하를 보입니다. 이는 정보 과부하로 인해 에이전트가 관찰적으로 관련 있는 세부 사항에 집중하는 능력이 저하되기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 계층적 계획 프레임워크를 기반으로 하는 탐색 모델인 SeqWalker를 제안합니다. SeqWalker는 다음과 같은 특징을 가집니다: i) 에이전트의 현재 시각적 관찰을 기반으로 글로벌 지시를 맥락적으로 관련된 하위 지시로 동적으로 선택하여 인지적 부담을 줄이는 고수준 계획기; ii) 지시의 내재된 논리적 구조를 활용하여 경로 오류를 수정하는 탐색-검증 전략을 통합하는 저수준 계획기. SH-VLN의 성능을 평가하기 위해, 우리는 IVLN 데이터 세트를 확장하고 새로운 벤치마크를 설정했습니다. 제안된 SeqWalker의 우수성을 입증하기 위해 광범위한 실험을 수행했습니다.

Sequential-Horizon Vision-and-Language Navigation (SH-VLN) presents a challenging scenario where agents should sequentially execute multi-task navigation guided by complex, long-horizon language instructions. Current vision-and-language navigation models exhibit significant performance degradation with such multi-task instructions, as information overload impairs the agent's ability to attend to observationally relevant details. To address this problem, we propose SeqWalker, a navigation model built on a hierarchical planning framework. Our SeqWalker features: i) A High-Level Planner that dynamically selects global instructions into contextually relevant sub-instructions based on the agent's current visual observations, thus reducing cognitive load; ii) A Low-Level Planner incorporating an Exploration-Verification strategy that leverages the inherent logical structure of instructions for trajectory error correction. To evaluate SH-VLN performance, we also extend the IVLN dataset and establish a new benchmark. Extensive experiments are performed to demonstrate the superiority of the proposed SeqWalker.