미리 예측하고 행동하기: 미래 상태에 조건부 비전-언어 내비게이션

Anticipate Before Acting: Future-State-Conditioned Vision-Language Navigation

인과 관계 기반 비전-언어 모델을 활용한 엔드투엔드 비전-언어 내비게이션(VLN)은 명령과 자아 중심 관찰 데이터를 직접적으로 행동으로 변환할 수 있지만, 일반적인 행동 복제 방식은 다음 행동만을 감독하며, 정책 상태가 향후 시각적 결과에 대한 예측 능력을 갖도록 명시적으로 훈련하지 않습니다. 우리는 먼저 진단 질문을 던집니다: 학습 및 테스트 과정에서 전문가 경로의 미래 이미지를 정책에 추가 입력으로 제공할 때, 이러한 추가적인 시각 정보가 현재 행동 선택에 유용한가? (이러한 전문가 경로의 미래 이미지는 실제 배포 시에는 사용할 수 없으므로, 이 설정은 진단 목적으로만 사용됩니다.) 그 답은 '예'입니다. 이 검증 과정은 향후 관찰 데이터가 풍부하고 실행 가능한 정보를 제공할 수 있음을 보여줍니다. 다음으로, 실제 적용 가능성을 고려한 질문을 던집니다: 미래 이미지를 추론 시에 접근할 수 없는 경우에도, 훈련 과정에서만 사용되는 압축된 미래 시각적 잠재 변수를 활용하여 여전히 미래 정보로부터 이점을 얻을 수 있는가? 우리는 Future-State-Conditioned VLN (FSC-VLN)이라는 방법을 제안합니다. FSC-VLN은 미래 쿼리 토큰을 추가하고, 훈련 과정에서만 사용되는 특정 분기(branch)를 통해 해당 숨겨진 상태를 Δ 단계 후의 고정된 시각적 임베딩에 연결합니다. 이 분기는 훈련이 완료되면 제거됩니다. R2R val-unseen 데이터셋에서 FSC-VLN은 두 가지 훈련 데이터 환경 하에서 StreamVLN 스타일의 기준 모델보다 성공률(SR), 성공 비율(OSR) 및 경로 길이 일치율(SPL)을 향상시켰으며, 특히 장기 에피소드에서 더 큰 성능 향상을 보였습니다. 추가적인 실험 결과는 미래와 행동 쿼리를 분리하는 이중 쿼리 설계의 효과를 뒷받침합니다.

End-to-end vision-language navigation (VLN) with causal vision-language models can map instructions and egocentric observations directly to actions, but standard behavior cloning supervises only the next action and does not explicitly train the policy state to be predictive of future visual outcomes. We first ask a diagnostic question: if the policy is given an expert-trajectory future image as privileged input at training and testing time, is that additional visual evidence useful for choosing the current action? (These expert-trajectory future images are unavailable at test time in real deployment, so we use this setting only as a privileged-input diagnostic.) The answer is yes; this sanity check shows that future observations can provide rich, actionable cues. We then ask a deployable question: without accessing future images at inference, can we still benefit from future information by using a compressed future visual latent only as training supervision? We propose Future-State-Conditioned VLN (FSC-VLN), which adds a future-query token and aligns its hidden state to a frozen visual embedding $Δ$ steps ahead via a training-only target branch that is removed after training. On R2R val-unseen, FSC-VLN improves SR/OSR/SPL over a StreamVLN-style baseline under two training-data regimes, with larger gains on long-horizon episodes; ablations further support the dual-query design (separating future and action queries).