SciHorizon-DataEVA: 다양한 과학 데이터의 AI 활용 가능성 평가를 위한 에이전트 기반 시스템

SciHorizon-DataEVA: An Agentic System for AI-Readiness Evaluation of Heterogeneous Scientific Data

AI-for-Science (AI4Science)는 머신러닝 모델을 예측, 시뮬레이션 및 가설 생성 워크플로우에 통합하여 다양한 분야에서 과학적 발견을 혁신적으로 변화시키고 있습니다. 그러나 이러한 모델의 효과는 과학 데이터의 AI 활용 가능성에 근본적으로 제약되며, 현재까지 확장 가능하고 체계적인 평가 메커니즘은 존재하지 않습니다. 본 연구에서는 다양한 과학 데이터의 AI 활용 가능성을 확장 가능하게 평가하기 위한 새로운 에이전트 기반 시스템인 SciHorizon-DataEVA를 제안합니다. 평가 기준의 측면에서, 우리는 AI 활용 가능성을 거버넌스 신뢰성, 데이터 품질, AI 호환성 및 과학적 적응성이라는 네 가지 상호 보완적인 차원으로 구성하는 Sci-TQA2 원칙을 소개합니다. 각 차원은 세분화되고 실행 가능한 측정 가능한 요소로 분해되어 정밀하고 실행 가능한 평가를 가능하게 합니다. 이러한 원칙을 대규모로 적용하기 위해, 우리는 계층적 다중 에이전트 평가 접근 방식인 Sci-TQA2-Eval을 개발했습니다. Sci-TQA2-Eval은 경량 데이터 프로파일링, 적용 가능성을 고려한 지표 활성화, 그리고 도메인 제약 조건과 데이터-논문 신호를 기반으로 한 지식 증강 계획을 결합하여 데이터셋에 특화된 평가 사양을 동적으로 생성합니다. 이러한 사양은 내장된 검증 및 자체 수정 기능을 갖춘 적응형, 도구 중심의 평가 메커니즘을 통해 실행되어 다양한 과학 데이터에 대한 확장 가능하고 신뢰할 수 있는 평가를 가능하게 합니다. 다양한 분야의 과학 데이터 세트에 대한 광범위한 실험 결과는 SciHorizon-DataEVA가 원칙에 기반한 AI 활용 가능성 평가에 효과적이고 일반화될 수 있음을 입증합니다.

AI-for-Science (AI4Science) is increasingly transforming scientific discovery by embedding machine learning models into prediction, simulation, and hypothesis generation workflows across domains. However, the effectiveness of these models is fundamentally constrained by the AI-readiness of scientific data, for which no scalable and systematic evaluation mechanism currently exists. In this work, we propose SciHorizon-DataEVA, a novel agentic system to scalable AI-readiness evaluation of heterogeneous scientific data. At the evaluation-criteria level, we introduce the Sci-TQA2 principles, which organize AI-readiness into four complementary dimensions: Governance Trustworthiness, Data Quality, AI Compatibility, and Scientific Adaptability. Each dimension is decomposed into measurable atomic elements that enable fine-grained and executable assessment. To operationalize these principles at scale, we develop Sci-TQA2-Eval, a hierarchical multi-agent evaluation approach orchestrated through a directed, cyclic workflow. Our Sci-TQA2-Eval dynamically constructs dataset-aware evaluation specifications by combining lightweight dataset profiling, applicability-aware metric activation, and knowledge-augmented planning grounded in domain constraints and dataset-paper signals. These specifications are executed through an adaptive, tool-centric evaluation mechanism with built-in verification and self-correction, enabling scalable and reliable assessment across heterogeneous scientific data. Extensive experiments on scientific datasets spanning multiple domains demonstrate the effectiveness and generality of SciHorizon-DataEVA for principled AI-readiness evaluation.