NeSy-Route: 원격 감지 분야의 제약 조건 기반 경로 계획을 위한 신경-기호 벤치마크

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

원격 감지는 재난 구호 및 생태 조사 등 중요한 응용 분야에서 사용되며, 시스템은 복잡한 장면과 제약을 이해하고 신뢰할 수 있는 결정을 내려야 합니다. 현재의 원격 감지 벤치마크는 주로 다중 모드 대규모 언어 모델(MLLM)의 인식 및 추론 능력을 평가하는 데 중점을 두고 있습니다. 이러한 벤치마크는 계획 능력을 평가하지 못하는데, 이는 대규모의 계획 작업을 큐레이션하고 검증하는 어려움이나 부정확하고 부적절한 평가 프로토콜 때문입니다. 이러한 한계를 극복하기 위해, 우리는 원격 감지 분야의 제약 조건 기반 경로 계획을 위한 대규모 신경-기호 벤치마크인 NeSy-Route를 소개합니다. 이 벤치마크 내에서, 우리는 고정밀 의미론적 마스크와 휴리스틱 검색을 통합하여 증명 가능한 최적 해를 가진 다양한 경로 계획 작업을 생성하는 자동 데이터 생성 프레임워크를 소개합니다. 이를 통해 NeSy-Route는 10,821개의 경로 계획 샘플을 포괄적으로 평가할 수 있으며, 이는 가장 큰 기존 벤치마크보다 거의 10배 더 큽니다. 또한, 정확한 평가를 가능하게 하고 인식, 추론 및 계획에 대한 세분화된 분석을 지원하기 위한 3단계 계층적 신경-기호 평가 프로토콜을 개발했습니다. 다양한 최첨단 MLLM에 대한 종합적인 평가는 기존 MLLM이 인식 및 계획 능력에서 상당한 결함을 가지고 있음을 보여줍니다. 우리는 NeSy-Route가 원격 감지를 위한 더욱 강력한 MLLM의 추가 연구 및 개발을 지원할 수 있기를 바랍니다.

Remote sensing underpins crucial applications such as disaster relief and ecological field surveys, where systems must understand complex scenes and constraints and make reliable decisions. Current remote-sensing benchmarks mainly focus on evaluating perception and reasoning capabilities of multimodal large language models (MLLMs). They fail to assess planning capability, stemming either from the difficulty of curating and validating planning tasks at scale or from evaluation protocols that are inaccurate and inadequate. To address these limitations, we introduce NeSy-Route, a large-scale neuro-symbolic benchmark for constrained route planning in remote sensing. Within this benchmark, we introduce an automated data-generation framework that integrates high-fidelity semantic masks with heuristic search to produce diverse route-planning tasks with provably optimal solutions. This allows NeSy-Route to comprehensively evaluate planning across 10,821 route-planning samples, nearly 10 times larger than the largest prior benchmark. Furthermore, a three-level hierarchical neuro-symbolic evaluation protocol is developed to enable accurate assessment and support fine-grained analysis on perception, reasoning, and planning simultaneously. Our comprehensive evaluation of various state-of-the-art MLLMs demonstrates that existing MLLMs show significant deficiencies in perception and planning capabilities. We hope NeSy-Route can support further research and development of more powerful MLLMs for remote sensing.