경로에서 단계로: 시각 및 언어 네비게이션에서 의미적 진행과 로컬 실행 분리

From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation

시각 및 언어 네비게이션(VLN)은 에고센트릭 시각 정보를 기반으로 경로 수준 지침을 따르기 위해 구성 요소 단계를 실행해야 합니다. 기존의 VLM 기반 내비게이터는 일반적으로 다음 행동 예측만으로 이러한 두 가지 능력을 모두 감독하며, 이로 인해 진행 추적 오류와 실행 오류를 구별하기 어렵습니다. 에이전트가 경로에서 벗어날 때, 교정된 행동 레이블은 다음 움직임을 회복할 수 있지만, 에이전트가 잘못된 하위 지침을 선택했는지 또는 올바른 것을 실행하지 못했는지를 나타내지는 않습니다. 그 결과, 에이전트는 오류가 있는 진행 상태에서 계속 결정을 내릴 수 있습니다. 이러한 모호성을 해결하기 위해, 우리는 의미적 진행 추적과 행동 생성 간의 분리를 명시적인 단계 수준 인터페이스를 통해 가능하게 하는 프레임워크인 **Route2Step**을 제안합니다. 지침 분석 모듈 ($\mathcal{M}_{\text{IA}}$)은 전역 지침 및 시각 기록에서 이 상태를 예측합니다. 예측된 상태와 최근 관찰 결과에 따라, 행동 생성 모듈 ($\mathcal{M}_{\text{AG}}$)은 로컬 액션 덩어리를 생성합니다. 수동으로 작성된 시간 레이블 없이 진행 상태를 감독하기 위해, E-SPA라는 단계 정렬 절차는 하위 지침을 경로 수준 데모의 해당 부분과 연결합니다. 이러한 정렬은 잘못된 진행 추정 시 상태 감독을 가능하게 하며, 직접적인 행동 감독은 올바른 활성 하위 지침에서 반복적으로 실패하는 그룹에만 적용됩니다. R2R-CE 데이터셋에서 Route2Step은 SR(Success Rate)을 48.1%에서 55.3%로, SPL(Success with Partial Credit)을 43.3%에서 48.2%로 향상시켰습니다. 이는 190K개의 상태 수준 교정 샘플을 사용했지만, 직접적으로 행동을 감독하는 상태는 11.5K개만 필요했습니다. 실제 실내 및 실외 환경에서의 실험은 Route2Step의 실용적인 적용 가능성을 더욱 입증합니다. 프로젝트 페이지는 다음과 같습니다: https://sisyphus-hxy.github.io/Route2Step/.

Vision-and-Language Navigation (VLN) requires an agent to follow a route-level instruction by executing its constituent steps from egocentric visual observations. Existing VLM-based navigators typically supervise both capabilities through next-action prediction alone, making progress-tracking errors difficult to distinguish from execution errors. When an agent deviates from the route, a corrective action label may recover the next movement but does not indicate whether the agent selected the wrong sub-instruction or failed to execute the correct one. Consequently, the agent may continue making decisions from an erroneous progress state. To resolve this ambiguity, we propose \textbf{Route2Step}, a framework that decouples semantic progress tracking from action generation through an explicit step-level interface. The Instruction Analysis Module ($\mathcal{M}_{\mathrm{IA}}$) predicts this state from the global instruction and visual history. Conditioned on the predicted state and recent observations, the Action Generation Module ($\mathcal{M}_{\mathrm{AG}}$) generates local action chunks. To supervise the progress state without manual temporal labels, E-SPA, a step-alignment procedure, associates sub-instructions with their corresponding portions of route-level demonstrations. These alignments enable state supervision for incorrect progress estimates, while direct action supervision is reserved for rollout groups that repeatedly fail under the correct active sub-instruction. On R2R-CE, Route2Step improves SR from 48.1\% to 55.3\% and SPL from 43.3\% to 48.2\%, using 190K state-level corrective samples while requiring only 11.5K directly action-supervised states. Experiments in real-world indoor and outdoor environments further demonstrate the practical applicability of Route2Step. The project page is: https://sisyphus-hxy.github.io/Route2Step/.