LandslideAgent 및 Multimodal LandslideBench: 도메인 규칙 기반 에이전트를 활용한 자율적인 산사태 식별 및 분석

LandslideAgent with Multimodal LandslideBench: A Domain-Rule-Augmented Agent for Autonomous Landslide Identification and Analysis

지능형 산사태 위험 해석은 재난 예방에 매우 중요하지만, 현재의 방법론들은 시각적 특징과 고수준 지질학적 의미를 동시에 추출하는 데 어려움을 겪고 있으며, 범용 비전-언어 모델(VLMs)은 복잡한 지질학적 환경에서 인지적 한계와 도메인 환상을 나타냅니다. 이러한 문제점을 해결하기 위해, 우리는 세 가지 구성 요소로 이루어진 명령 기반 에이전트 프레임워크를 제안합니다. 첫째, 다중 VLM 교차 검증 및 인터랙티브 주석을 통해 구축된 Multimodal LandslideBench는 일곱 개의 하위 유형 레이블, 고해상도 이미지, 픽셀 수준 마스크 및 고품질 텍스트 설명을 포함하는 세밀한 데이터셋입니다. 둘째, 산사태 관련 VLM인 LandslideVLM은 LandslideBench를 사용하여 LoRA 방식으로 미세 조정되어 지질학적 의미 이해 능력을 향상시킵니다. 마지막으로, LandslideAgent는 LandslideVLM을 인지 기반으로 활용하며, 구조화된 보고 메타데이터 제약 조건과 교차 검증 식별 제약 조건을 포함하는 이중 규칙 컨트롤러를 사용하여 자동 도구 호출을 제어합니다. 실험 결과, LandslideBench는 다섯 가지 주요 모델에서 세밀한 분류 및 의미 분할에 효과적인 기준점을 제공하며, LandslideVLM은 산사태 판별, 세밀한 분류 및 의미 설명 품질 측면에서 각각 10.96%, 32.87% 및 15.91%의 정확도 향상을 달성했습니다. 또한, LandslideAgent는 자율적인 다중 소스 공간 데이터 추론을 가능하게 하여 산사태 식별 및 분석에 대한 전체 프로세스 지능을 구현합니다.

Intelligent landslide hazard interpretation is critical for disaster prevention, yet current paradigms struggle to simultaneously extract visual features and high-level geoscientific semantics, while general-purpose vision-language models (VLMs) suffer from perceptual limitations and domain hallucinations in complex geological scenarios. To address these challenges, we propose an instruction-driven agentic framework comprising three components. First, LandslideBench, a multimodal fine-grained dataset with seven subtype labels, high-resolution imagery, pixel-level masks, and high-quality textual descriptions, is constructed via multi-VLM cross-validation and interactive annotation. Then, LandslideVLM, a landslide-oriented VLM, is fine-tuned via LoRA on LandslideBench to enhance geological semantic understanding. Finally, LandslideAgent, a domain rule-enhanced agent taking LandslideVLM as its cognitive backbone, employs a dual-rule controller incorporating structured report metadata constraints and cross-validation identification constraints to regulate automated tool invocation. Experiments demonstrate that LandslideBench provides effective baselines across five mainstream models on fine-grained classification and semantic segmentation. LandslideVLM achieves accuracy improvements of 10.96%, 32.87%, and 15.91% on landslide discrimination, fine-grained classification, and semantic description quality, respectively. LandslideAgent further enables autonomous multi-source spatial data inference, realizing full-process intelligence for landslide identification and analysis.