FLORO: 센서 및 규모를 초월하는 생태 원격 탐사를 위한 다중 모드 지리 공간 기초 모델

FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales

기초 모델은 전이 가능한 원격 감지 표현을 제공할 수 있는 유망한 방법을 제시하지만, 많은 기존 접근 방식은 매우 큰 사전 훈련 데이터 세트와 고정된 센서 구성에 의존하여 생태 및 환경 응용 분야에 적합하지 않습니다. 이러한 응용 분야에서는 관측 내용이 종종 플랫폼, 공간 및 분광 해상도, 그리고 사용 가능한 모드에 따라 다릅니다. 본 연구에서는 작은 규모이지만 매우 다양한 원격 감지 데이터 세트에서 전이 가능한 표현을 학습하도록 설계된 다중 모드 지리 공간 기초 모델인 FLORO를 소개합니다. FLORO는 Sentinel-1, Sentinel-2, SkySAT 이미지, 고도 데이터 및 UAV 기반 데이터를 결합한 이기종 데이터 세트를 사용하여 마스크 자동 인코딩 방식으로 사전 훈련되었습니다. 센서의 다양성을 수용하기 위해 FLORO는 각 샘플에 어떤 분광 대역과 보조 모드가 존재하는지 나타내는 가용성 정보 기반 입력을 통합하여, 다양한 센서 구성에서 통일된 입력 공간을 제공합니다. 우리는 장면 분류, 분할 및 회귀 작업을 수행하는 PANGAEA 벤치마크에서 고정 인코더 방식으로 FLORO를 평가했습니다. 경쟁적인 기초 모델보다 작은 데이터 세트로 사전 훈련되었음에도 불구하고, FLORO는 중간 해상도 위성, 항공 및 초고해상도 UAV 이미지를 포괄하는 광학, 광학-SAR 및 광학-고도 벤치마크에서 강력하고 안정적인 전이 성능을 달성했습니다. FLORO는 여섯 개의 PANGAEA 벤치마크에서 평균 분할 성능이 두 번째로 뛰어나며, 이는 두 배 이상의 이미지를 사용하여 사전 훈련된 최근에 소개된 기초 모델보다 약간 뒤쳐지는 수준입니다. 또한 장면 분류 작업에서는 경쟁력을 유지했으며 회귀 작업에서도 견고한 성능을 보였습니다. 정성적 결과는 홍수, 도시, 바이오매스 및 캐노피 높이 예측 환경에서 공간 구조의 개선된 보존을 보여주었습니다. 별도의 제어 실험에서 EuroSAT-MS 데이터 세트에 대해 지리 위치 인코딩은 절대 위치 인코딩보다 분류 성능을 더욱 향상시키는 것으로 나타났습니다.

Foundation models offer a promising route to transferable remote sensing representations, but many current approaches depend on very large pretraining datasets and fixed sensor configurations, limiting their suitability for ecological and environmental applications, where observations often vary across platforms, spatial and spectral resolutions, and available modalities. We introduce FLORO, a multimodal geospatial foundation model designed to learn transferable representations from a small but highly diverse remote sensing corpus. FLORO is pretrained using masked autoencoding on a heterogeneous combination of Sentinel-1, Sentinel-2, SkySAT imagery, elevation, and UAV-derived data. To accommodate sensor variability, FLORO incorporates availability-aware inputs that indicate which spectral bands and auxiliary modalities are present in each sample, enabling a unified input space across heterogeneous sensor configurations. We evaluated FLORO on the PANGAEA benchmark under a frozen-encoder protocol across scene classification, segmentation, and regression tasks. Despite being pretrained on a smaller corpus than competing foundation models, FLORO achieved strong and stable transfer across optical, optical-SAR, and optical-elevation benchmarks spanning medium-resolution satellite, airborne, and ultra-high-resolution UAV imagery. FLORO obtained the second-best average segmentation performance across six PANGAEA benchmarks, trailing only a recently introduced foundation model pretrained on over two orders of magnitude more images, remained competitive on scene classification, and was robust in regression tasks, while qualitative results showed improved preservation of spatial structure in flood, urban, biomass, and canopy-height prediction settings. In a separate controlled experiment on EuroSAT-MS, geo-positional encoding further improved classification relative to absolute positional encoding.