ClimAgent: 자율적인 개방형 기후 과학 분석을 위한 LLM 기반 에이전트

ClimAgent: LLM as Agents for Autonomous Open-ended Climate Science Analysis

기후 연구는 전 세계적인 환경 위기를 완화하는 데 매우 중요하지만, 다양한 규모의 데이터 양이 급증하고 분석 도구의 복잡성이 증가하면서 과학적 발견이 단편적이고 노동 집약적인 방식으로 이루어지는 데 심각한 제약이 있습니다. 대규모 언어 모델(LLM)의 등장은 과학적 전문성을 확장하는 혁신적인 패러다임을 제시하지만, 기존 연구는 주로 간단한 질의응답(Q&A) 작업에 국한되어 있습니다. 이러한 접근 방식은 실제적인 문제점을 지나치게 단순화하며, 전문적인 기후 과학에 필요한 복잡한 물리적 제약과 데이터 기반 분석을 간과합니다. 이러한 격차를 해소하기 위해, 우리는 다양한 기후 분야의 연구 작업을 수행할 수 있도록 설계된 범용 자율 프레임워크인 ClimAgent를 소개합니다. ClimAgent는 통합된 도구 사용 환경과 엄격한 추론 프로토콜을 결합하여 단순한 정보 검색을 넘어 엔드 투 엔드 모델링 및 분석을 수행합니다. 체계적인 평가를 위해, 실제 기후 연구를 위한 첫 번째 종합 벤치마크인 ClimaBench를 제안합니다. ClimaBench는 2000년부터 2025년까지의 실제 시나리오에서 파생된 5가지 다양한 작업 범주에 걸쳐 어려운 문제들을 포함합니다. ClimaBench에 대한 실험 결과, ClimAgent는 최첨단 기준 모델보다 훨씬 우수한 성능을 보이며, 원래 LLM 솔루션에 비해 해결책의 엄격성과 실용성 측면에서 40.21%의 성능 향상을 달성했습니다. 당사의 코드는 https://github.com/usail-hkust/ClimAgent 에서 확인할 수 있습니다.

Climate research is pivotal for mitigating global environmental crises, yet the accelerating volume of multi-scale datasets and the complexity of analytical tools have created significant bottlenecks, constraining scientific discovery to fragmented and labor-intensive workflows. While the emergence Large Language Models (LLMs) offers a transformative paradigm to scale scientific expertise, existing explorations remain largely confined to simple Question-Answering (Q&A) tasks. These approaches often oversimplify real-world challenges, neglecting the intricate physical constraints and the data-driven nature required in professional climate science.To bridge this gap, we introduce ClimAgent, a general-purpose autonomous framework designed to execute a wide spectrum of research tasks across diverse climate sub-fields. By integrating a unified tool-use environment with rigorous reasoning protocols, ClimAgent transcends simple retrieval to perform end-to-end modeling and analysis.To foster systematic evaluation, we propose ClimaBench, the first comprehensive benchmark for real-world climate discovery. It encompasses challenging problems spanning 5 distinct task categories derived from professional scenarios between 2000 and 2025. Experiments on ClimaBench demonstrate that ClimAgent significantly outperforms state-of-the-art baselines, achieving a 40.21% improvement over original LLM solutions in solution rigorousness and practicality. Our code are available at https://github.com/usail-hkust/ClimAgent.