멀티모달 대규모 언어 모델을 활용한 원격 감지 이미지 기반의 의미론적 요소를 고려한 무인 항공기 착륙 지점 평가

Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models

안전한 무인 항공기 비상 착륙은 단순한 평탄한 지형을 식별하는 것 이상으로, 전통적인 기하학적 센서로는 감지할 수 없는 복잡한 의미론적 위험(예: 군중, 임시 구조물)을 이해해야 합니다. 본 논문에서는 원격 감지(RS) 이미지와 멀티모달 대규모 언어 모델(MLLM)을 활용하여 전역적 맥락을 고려한 착륙 지점 평가를 위한 새로운 프레임워크를 제안합니다. 기존의 지역적 기하학적 방법과는 달리, 본 연구는 거친 단계부터 세밀한 단계까지의 파이프라인을 사용합니다. 먼저, 가벼운 의미론적 분할 모듈이 후보 영역을 효율적으로 사전 검토하고, 두 번째로, 시각-언어 추론 에이전트가 시각적 특징과 관심 지점(POI) 데이터를 융합하여 미묘한 위험을 감지합니다. 본 접근 방식을 검증하기 위해, 비상 착륙 지점 선정(ELSS) 벤치마크를 구축하고 공개합니다. 실험 결과, 본 프레임워크가 위험 식별 정확도 측면에서 기존의 기하학적 방법보다 훨씬 우수한 성능을 보임을 확인했습니다. 또한, 질적 결과는 본 프레임워크가 인간과 유사한 해석 가능한 근거를 생성하여 자동화된 의사 결정에 대한 신뢰도를 향상시키는 능력을 확인했습니다. 벤치마크 데이터 세트는 https://anonymous.4open.science/r/ELSS-dataset-43D7 에서 공개적으로 이용할 수 있습니다.

Safe UAV emergency landing requires more than just identifying flat terrain; it demands understanding complex semantic risks (e.g., crowds, temporary structures) invisible to traditional geometric sensors. In this paper, we propose a novel framework leveraging Remote Sensing (RS) imagery and Multimodal Large Language Models (MLLMs) for global context-aware landing site assessment. Unlike local geometric methods, our approach employs a coarse-to-fine pipeline: first, a lightweight semantic segmentation module efficiently pre-screens candidate areas; second, a vision-language reasoning agent fuses visual features with Point-of-Interest (POI) data to detect subtle hazards. To validate this approach, we construct and release the Emergency Landing Site Selection (ELSS) benchmark. Experiments demonstrate that our framework significantly outperforms geometric baselines in risk identification accuracy. Furthermore, qualitative results confirm its ability to generate human-like, interpretable justifications, enhancing trust in automated decision-making. The benchmark dataset is publicly accessible at https://anonymous.4open.science/r/ELSS-dataset-43D7.