WorldFly: UAV 항법을 위한 세계 모델 기반의 시각-언어-행동 모델

WorldFly: A World-Model-Based Vision-Language-Action Model for UAV Navigation

종단 간(end-to-end) 시각-언어-행동(VLA) 모델은 UAV 항법 분야에서 잠재력을 보여주고 있습니다. 그러나 기존 접근 방식은 일반적으로 과거 관찰 데이터를 사용하여 직접적으로 행동을 예측하는데, 이는 심한 가려움 현상과 급격한 방향 전환으로 인해 시야가 급변하는 복잡한 도시 환경에서는 어려움을 겪습니다. 우리는 '미래 상태를 상상'하는 능력, 즉 세계 모델에 내재된 기능이 부분적인 정보만 주어지는 상황에서도 견고한 의사 결정을 위해 매우 중요하다고 주장합니다. 이를 해결하기 위해, 심각한 가려움 현상과 급격한 시야 변화가 특징인 환경에서의 공간 인지 능력을 평가하도록 설계된 어려운 Urban Canyon Traversal 벤치마크를 구축했습니다. 이에 따라, 우리는 미래 비디오 예측과 항법 행동을 동시에 생성하기 위해 이중 분기 결합 흐름 매칭 메커니즘을 사용하는 새로운 세계 모델 기반 VLA 프레임워크인 WorldFly를 제안합니다. 이를 통해 공간적 상상을 활용하여 에이전트의 정책을 명시적으로 안내합니다. 저희가 만든 벤치마크에 대한 광범위한 평가 결과, WorldFly는 다른 기본 모델보다 우수한 성능을 보이며, 특히 새로운 환경에서 더 뛰어난 성능을 보여주어, 세계 모델을 탑재된 항공 로봇 에이전트에 통합하는 것이 효과적임을 입증합니다.

End-to-end Vision-Language-Action (VLA) models have shown promise in UAV navigation. However, existing approaches typically rely on historical observations to directly predict actions, often struggling in dense urban environments where severe occlusions and sharp turns result in drastic viewpoint transitions. We argue that the ability to "imagine" future states -- inherent in World Models -- is critical for robust decision-making under such partial observability. To address this, we construct a challenging Urban Canyon Traversal Benchmark, specifically designed to evaluate spatial understanding in scenarios characterized by severe occlusions and drastic viewpoint transitions. To this end, we propose WorldFly, a novel world-model-based VLA framework that employs a dual-branch coupled flow matching mechanism to jointly generate future video predictions and navigation actions, thereby explicitly guiding the agent's policy via spatial imagination. Extensive evaluations on our benchmark demonstrate that WorldFly outperforms other baselines, particularly in unseen environments, validating the effectiveness of integrating world models into embodied aerial agents.