평생 학습 기반의 로봇 내비게이션

Lifelong Embodied Navigation Learning

대규모 언어 모델을 기반으로 작동하는 로봇 내비게이션 에이전트는 개별 작업에서는 뛰어난 성능을 보이지만, 새로운 내비게이션 기술을 지속적으로 습득하는 데 어려움을 겪으며, 이는 재앙적인 망각(catastrophic forgetting) 현상으로 인해 발생합니다. 본 연구에서는 이러한 문제를 평생 학습 기반 로봇 내비게이션(Lifelong Embodied Navigation Learning, LENL)이라는 관점에서 정의합니다. LENL은 에이전트가 여러 장면과 다양한 사용자 지시 방식을 포괄하는 일련의 내비게이션 작업을 수행하면서, 이전에 학습한 지식을 유지하며 적응해야 하는 과제를 포함합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 Decoder Extension LoRA (DE-LoRA)를 사용하여 내비게이션 지식을 작업 공유(task-shared) 및 작업 특이적(task-specific) 구성 요소로 분리하는 평생 학습 기반 로봇 내비게이션 프레임워크인 Uni-Walker를 제안합니다. 공유 지식을 학습하기 위해, 지식 상속 전략과 전문가 동시 활성화 전략을 설계하여 여러 내비게이션 작업 간에 공유 지식의 전달 및 개선을 촉진합니다. 특정 지식을 학습하기 위해, 전문가 서브스페이스 직교성 제약 조건과 내비게이션 특화된 연쇄적 사고(chain-of-thought) 추론 메커니즘을 제안하여 특정 지식을 캡처하고 지시 방식 이해를 향상시킵니다. 광범위한 실험 결과는 Uni-Walker가 평생 학습을 통해 범용 내비게이션 에이전트를 구축하는 데 우수한 성능을 보임을 입증합니다.

Embodied navigation agents powered by large language models have shown strong performance on individual tasks but struggle to continually acquire new navigation skills, which suffer from catastrophic forgetting. We formalize this challenge as lifelong embodied navigation learning (LENL), where an agent is required to adapt to a sequence of navigation tasks spanning multiple scenes and diverse user instruction styles, while retaining previously learned knowledge. To tackle this problem, we propose Uni-Walker, a lifelong embodied navigation framework that decouples navigation knowledge into task-shared and task-specific components with Decoder Extension LoRA (DE-LoRA). To learn the shared knowledge, we design a knowledge inheritance strategy and an experts co-activation strategy to facilitate shared knowledge transfer and refinement across multiple navigation tasks. To learn the specific knowledge, we propose an expert subspace orthogonality constraint together and a navigation-specific chain-of-thought reasoning mechanism to capture specific knowledge and enhance instruction-style understanding. Extensive experiments demonstrate the superiority of Uni-Walker for building universal navigation agents with lifelong learning.