HAM-VLN: 계층적 에이전트 기반 메모리를 활용한 제로샷 비전-언어 내비게이션

HAM-VLN: Harnessing Hierarchical Agentic Memory for Zero-Shot Vision-and-Language Navigation

비전-언어 내비게이션(VLN)은 로봇이 이전에 보지 못한 환경에서도 지시사항을 따르도록 합니다. 최근에는 학습 없이 작동하는 패러다임이 등장했는데, 로봇은 멀티모달 LLM에 정보를 제공하여 관찰 내용을 이해하고 다음 행동을 계획합니다. 그러나 이미지 스트림 또는 밀집 지도 기반의 장거리 내비게이션은 필연적으로 증가하는 메모리 및 추론 병목 현상을 야기합니다. 본 논문에서는 HAM-VLN을 제안하는데, 이는 의사 결정과 연계된 에이전트가 생성한 메모리로, 로봇에게 지속적인 3차원 기반 세계 그래프를 제공합니다. HAM-VLN은 다음 행동을 선택하는 모델 실행 과정에서 방의 종류, 객체, 내비게이션 진행 상황 및 실패 노트와 같은 의미론적 정보와 반성 정보를 기록합니다. 최근 웨이포인트는 제한된 범위 내에서 그대로 유지되며, 이전 이력은 관련성, 최신성 및 중요도 점수를 기준으로 검색되어 컨텍스트에 다시 포함됩니다. 이러한 설계는 웨이포인트별 의사 결정 외에는 추가적인 LLM 호출을 필요로 하지 않습니다. HAM-VLN은 기존 방법보다 다양한 내비게이션 지표를 개선할 뿐만 아니라 컨텍스트 길이를 65% 이상 단축합니다. 구체적으로, HAM-VLN은 VLN-CE R2R에서 61.0%, VLN-CE RxR에서 52.7%, HM3D-v2 ObjectNav에서 79.7%의 성공률(SR)을 달성하며, 이는 어떠한 학습 없이 얻어진 결과입니다.

Vision-and-language navigation (VLN) enables robots to follow instructions in previously unseen environments. Recently, a training-free paradigm has emerged: the robot queries a multimodal LLM to understand its observations and plan the next action. However, long-horizon navigation based on either image streams or dense map inevitably introduces a growing memory and reasoning bottleneck. We present HAM-VLN, a decision-coupled, agent-authored memory that equips the robot with a persistent, depth-grounded world graph. In the same model call used to select the next action, HAM-VLN also records semantic and reflective information---including room type, objects, navigation progress, and failure notes. Recent waypoints remain verbatim within a bounded window, while older history re-enters the context only through retrieval scored by relevance, recency, and salience, together with one-hop topological expansion. This design requires no additional LLM calls beyond the per-waypoint decision. Compared to previous methods, HAM-VLN not only improves various navigation metrics but also reduces the context length by more than 65%. Specifically, HAM-VLN achieves 61.0% Success Rate (SR) on VLN-CE R2R, 52.7% SR on VLN-CE RxR, and 79.7% SR on HM3D-v2 ObjectNav without any training.