SIREN: 경험 기반 LLM 에이전트를 활용한 통합형 극심 기상 현상 조기 경보 시스템 연구

SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents

극심한 기상 현상은 사회, 경제 및 환경에 심각한 위험을 초래하므로, 이러한 현상을 사전에 예측하고 경고하는 것은 매우 중요합니다. 그러나 기존의 전문가 중심적인 경보 시스템은 비용이 많이 들고 인력이 필요하며, 경보에서 실제 대응으로 이어지는 전체 과정에서 확장하기 어렵다는 한계가 있습니다. 최근 대규모 언어 모델(LLM) 에이전트 기술 발전으로 기상 관련 작업 자동화가 가능해졌지만, 기존 연구는 개별적인 과학적 작업에 초점을 맞추고 있으며, 운영형 극심 기상 현상 조기 경보 시스템에 필요한 상호 의존적인 일련의 프로세스를 간과하고 있습니다. 본 연구에서는 LLM 에이전트를 활용하여 통합형 극심 기상 현상 조기 경보 시스템을 개발합니다. 먼저 19가지 작업 영역, 4가지 개별 경보 절차 및 전체 경보 체인을 포괄하는 600개의 질의-응답 사례로 구성된 종합적인 벤치마크인 SIREN-Bench를 개발했습니다. SIREN-Bench에 대한 평가는 기존 기상 에이전트 프레임워크의 상당한 성능 격차를 보여줍니다. 이를 바탕으로, 전문가들이 과거 사례를 활용하는 방식을 모방하여 개발된 경험 기반 에이전트 프레임워크인 SIREN을 제안합니다. SIREN은 다양한 기상 데이터 및 도구를 통합하는 실행 환경과 함께, 검색, 기술 추출 및 예측 모델링을 통해 과거 사례를 활용하는 여러 종류의 에이전트를 포함합니다. 광범위한 실험 결과는 SIREN이 개별 경보 절차와 전체 경보 체인 모두에서 기존 기상 에이전트 기준 성능보다 우수한 결과를 보임을 입증합니다.

Early warning of extreme weather is essential for mitigating the societal, economic, and environmental risks posed by hazardous weather events. However, expert-centered warning workflows are costly, labor-intensive, and difficult to scale throughout the warning-to-action process. Although recent advances in Large Language Model (LLM) agents have enabled the automation of weather-related tasks, existing studies remain centered on isolated scientific tasks and overlook the chain of interdependent processes required for operational extreme-weather early warning. To bridge this gap, this study investigates automated end-to-end extreme-weather early warning through LLM agents. We first develop SIREN-Bench, a comprehensive benchmark comprising 600 question-answer instances across 19 tasks, and covering four individual warning procedures and an end-to-end warning chain. Evaluation on SIREN-Bench reveals substantial capability gaps in existing weather agent frameworks. This motivates us to develop SIREN, an experience-grounded agent framework inspired by experts' use of historical cases, which combines an agentic execution environment integrating heterogeneous weather evidence and tools with a family of agent harnesses that exploit historical cases through retrieval, skill distillation, and predictive modeling. Extensive experiments demonstrate that SIREN outperforms weather-agent baselines on both individual warning procedures and end-to-end warning chains.