Compass: 전문가 지도를 활용한 LLM 에이전트를 통한 글로벌 해양 납(Pb) 데이터 통합

Compass: Navigating Global Marine Lead Data Integration through Expert-Guided LLM Agent

해양 내 납(Pb)과 그 동위원소는 해류 순환 및 인위적인 오염을 추적하는 데 중요한 역할을 하지만, 현장 관측은 비용이 많이 들고 자료가 부족한 실정입니다. 방대한 양의 역사적 기록들이 존재하지만, 이는 학술 논문의 비정형 데이터 내에 묻혀 있어 종합적인 분석이 어렵다는 '데이터 사일로' 문제를 야기합니다. 수동 추출은 확장 가능성이 낮으며, 범용 대규모 언어 모델(LLM)은 필요한 전문 지식이 부족하여 환각 현상을 일으키거나 과학적으로 옳지 않은 결과를 도출할 수 있습니다. 이러한 문제점을 해결하기 위해, 저희는 LLM이 추가적인 튜닝 없이도 엄격한 과학적 데이터 추출을 수행할 수 있도록 전문가의 지도를 활용하는 접근 방식을 제안합니다. 이 접근 방식을 Compass라는 LLM 에이전트 프레임워크로 구현했으며, 해양 과학자와 공동으로 설계된 지식 트리를 통해 복잡한 작업을 검증 가능한 단계로 분해하여 에이전트의 추론 과정을 안내하고 과학적 타당성을 확보합니다. Compass를 23만 건 이상의 관련 공개 액세스 논문에 적용한 결과, 이전에 통합되지 않았던 3,751건의 납(Pb) 데이터를 성공적으로 추출했습니다. 이는 현재까지 가장 큰 규모의 통합된 해양 납 데이터베이스를 구축하는 성과입니다. 표준적인 지표 외에도, Compass는 다층 검증을 통해 우수한 신뢰성을 입증했으며, 전문가의 수동 검증 결과 92%의 정확도를 달성했습니다. 새로 통합된 데이터는 동해와 남극해 등 이전에 자료가 부족했던 지역에 대한 정보 보완을 제공하며, 향후 과학적 발견을 위한 풍부한 데이터 기반을 마련합니다. 저희는 상호 작용이 가능한 시각화 플랫폼을 공개하여 연구자들의 접근성을 높였습니다. 본 연구는 전문가 지도를 활용한 에이전트가 범용 LLM과 고위험의 과학 분야 간의 격차를 효과적으로 해소하고, 지구과학 분야에서 확장 가능한 데이터 검색을 가능하게 할 수 있음을 보여줍니다.

Marine lead (Pb) and its isotopes are critical tracers for ocean circulation and anthropogenic pollution, yet in-situ observations remain costly and sparse. While vast historical records exist, they lie buried within the unstructured content of academic papers, creating "data silos" inaccessible to comprehensive analysis. Manual extraction is unscalable, while general-purpose Large Language Models (LLMs) lack the necessary domain-specific knowledge, leading to hallucinations and scientifically invalid outputs. To address this, we introduce an expert-guided adaptation approach that enables LLMs to perform rigorous scientific data extraction without fine-tuning. We operationalize this approach through Compass, an LLM agent framework enhanced by a Knowledge Tree co-designed with marine scientists, which decomposes complex tasks into verifiable steps, guiding the agent's reasoning to ensure scientific validity. Deploying Compass across a corpus of over 230,000 relevant open-access papers, we successfully extract 3,751 previously unincorporated Pb records. This effort establishes the largest integrated marine Pb database to date. Beyond standard metrics, Compass demonstrates superior reliability through multi-layered validation, achieving 92% accuracy as confirmed through expert manual verification. The newly integrated data expand coverage in previously under-sampled regions such as the East China Sea and the Southern Ocean, providing an enriched data foundation for future scientific discoveries. We release an interactive visualization platform to facilitate open scientific access. Our work demonstrates that expert-guided agents can effectively bridge the gap between general-purpose LLMs and high-stakes scientific domains, enabling scalable data discovery in geosciences.