AirHunt: VLM 의미론과 지속적인 계획을 연결하여 효율적인 항공 객체 탐색을 위한 시스템

AirHunt: Bridging VLM Semantics and Continuous Planning for Efficient Aerial Object Navigation

최근의 대규모 시각-언어 모델(VLM)의 발전은 드론이 자연어 지침을 통해 개방형 객체를 검색할 수 있도록 풍부한 의미론적 이해를 제공합니다. 그러나 기존 시스템은 VLM 추론과 실시간 계획 사이의 빈도 불일치, 그리고 VLM의 제한적인 3차원 장면 이해로 인해 VLM을 실용적인 항공 시스템에 통합하는 데 어려움을 겪습니다. 또한, 대규모 환경에서 의미론적 지침과 동작 효율성을 균형 있게 조절하는 통합된 메커니즘이 부족합니다. 이러한 문제점을 해결하기 위해, 우리는 AirHunt라는 항공 객체 탐색 시스템을 제안합니다. AirHunt는 VLM의 의미론적 추론과 지속적인 경로 계획을 원활하게 결합하여, 실외 환경에서 개방형 객체를 제로샷 일반화 방식으로 효율적으로 탐색합니다. AirHunt는 VLM 추론과 경로 계획 사이의 시너지 효과를 창출하는 이중 경로 비동기 아키텍처를 특징으로 하며, 이를 통해 동작에 따라 진화하는 적응적 의미론적 지침을 활용한 지속적인 비행이 가능합니다. 또한, 우리는 기하학적 및 의미론적 중복성을 활용하여 선택적인 VLM 쿼리를 가능하게 하는 능동적인 이중 작업 추론 모듈과, 의미론적 우선순위와 동작 효율성을 통합된 프레임워크 내에서 동적으로 조정하는 의미론-기하학적 조화로운 계획 모듈을 제안합니다. AirHunt는 다양한 객체 탐색 작업 및 환경에서 평가되었으며, 최첨단 방법과 비교하여 더 높은 성공률, 더 낮은 탐색 오류 및 더 짧은 비행 시간을 보여줍니다. 실제 환경에서의 실험은 AirHunt의 복잡하고 어려운 환경에서의 실용적인 능력을 더욱 검증합니다. 코드와 데이터 세트는 출판 전에 공개될 예정입니다.

Recent advances in large Vision-Language Models (VLMs) have provided rich semantic understanding that empowers drones to search for open-set objects via natural language instructions. However, prior systems struggle to integrate VLMs into practical aerial systems due to orders-of-magnitude frequency mismatch between VLM inference and real-time planning, as well as VLMs' limited 3D scene understanding. They also lack a unified mechanism to balance semantic guidance with motion efficiency in large-scale environments. To address these challenges, we present AirHunt, an aerial object navigation system that efficiently locates open-set objects with zero-shot generalization in outdoor environments by seamlessly fusing VLM semantic reasoning with continuous path planning. AirHunt features a dual-pathway asynchronous architecture that establishes a synergistic interface between VLM reasoning and path planning, enabling continuous flight with adaptive semantic guidance that evolves through motion. Moreover, we propose an active dual-task reasoning module that exploits geometric and semantic redundancy to enable selective VLM querying, and a semantic-geometric coherent planning module that dynamically reconciles semantic priorities and motion efficiency in a unified framework, enabling seamless adaptation to environmental heterogeneity. We evaluate AirHunt across diverse object navigation tasks and environments, demonstrating a higher success rate with lower navigation error and reduced flight time compared to state-of-the-art methods. Real-world experiments further validate AirHunt's practical capability in complex and challenging environments. Code and dataset will be made publicly available before publication.