이벤트-심도 융합 기반 고속 UAV 장애물 회피를 위한 엔드투엔드 비행 제어 네트워크

An End-to-end Flight Control Network for High-speed UAV Obstacle Avoidance based on Event-Depth Fusion

정적, 동적 또는 혼합된 장애물이 존재하는 복잡한 환경에서 안전하고 고속의 자율 비행을 달성하는 것은 여전히 어려운 과제이며, 이는 단일 인지 방식으로는 충분하지 않기 때문입니다. 심도 카메라는 정적인 물체에 효과적이지만, 고속에서는 모션 블러 문제가 발생합니다. 반대로, 이벤트 카메라는 빠른 움직임을 잘 감지하지만 정적인 장면을 인식하는 데 어려움을 겪습니다. 본 연구에서는 이러한 센서들의 상호 보완적인 장점을 활용하기 위해, 양방향 크로스어텐션 모듈을 통해 심도 이미지와 이벤트 데이터를 특징 수준에서 융합하는 엔드투엔드 비행 제어 네트워크를 제안합니다. 이 엔드투엔드 네트워크는 고품질의 지도 학습을 통해 훈련됩니다. 이러한 통찰력을 바탕으로, Spherical Principal Search (SPS)를 활용하여 효율적인 전문가 플래너를 설계했습니다. 이 플래너는 계산 복잡도를 $O(n^2)$에서 $O(n)$으로 줄이면서 더 부드러운 경로를 생성하며, 17m/s에서 80% 이상의 성공률을 달성하여 기존 플래너보다 약 20% 높은 성능을 보입니다. 시뮬레이션 실험 결과, 제안하는 방법은 다양한 환경에서 17m/s로 70-80%의 성공률을 달성하며, 단일 모드 및 단방향 융합 모델보다 10-20% 향상된 성능을 보입니다. 이러한 결과는 양방향 융합이 이벤트 및 심도 정보를 효과적으로 통합하여 정적 및 동적 물체가 모두 존재하는 복잡한 환경에서 더 안정적인 장애물 회피를 가능하게 한다는 것을 보여줍니다.

Achieving safe, high-speed autonomous flight in complex environments with static, dynamic, or mixed obstacles remains challenging, as a single perception modality is incomplete. Depth cameras are effective for static objects but suffer from motion blur at high speeds. Conversely, event cameras excel at capturing rapid motion but struggle to perceive static scenes. To exploit the complementary strengths of both sensors, we propose an end-to-end flight control network that achieves feature-level fusion of depth images and event data through a bidirectional crossattention module. The end-to-end network is trained via imitation learning, which relies on high-quality supervision. Building on this insight, we design an efficient expert planner using Spherical Principal Search (SPS). This planner reduces computational complexity from $O(n^2)$ to $O(n)$ while generating smoother trajectories, achieving over 80% success rate at 17m/s--nearly 20% higher than traditional planners. Simulation experiments show that our method attains a 70-80% success rate at 17 m/s across varied scenes, surpassing single-modality and unidirectional fusion models by 10-20%. These results demonstrate that bidirectional fusion effectively integrates event and depth information, enabling more reliable obstacle avoidance in complex environments with both static and dynamic objects.