BABE: 생물학 아레나 벤치마크 (Biology Arena BEnchmark)

BABE: Biology Arena BEnchmark

대규모 언어 모델(LLM)의 급속한 발전은 그 기능을 기본적인 대화에서 고도의 과학적 추론으로 확장시켰습니다. 그러나 기존의 생물학 분야 벤치마크들은 연구자에게 요구되는 핵심 역량, 즉 실험 결과와 맥락적 지식을 통합하여 유의미한 결론을 도출하는 능력을 평가하는 데 있어 미흡한 경우가 많습니다. 이러한 간극을 해소하기 위해, 우리는 생물학 AI 시스템의 실험적 추론 능력을 평가하도록 설계된 포괄적인 벤치마크인 BABE(Biology Arena BEnchmark)를 소개합니다. BABE는 동료 심사를 거친 연구 논문과 실제 생물학 연구를 바탕으로 독창적으로 구축되었으며, 과제가 실제 과학적 탐구의 복잡성과 학제적 특성을 반영하도록 보장합니다. BABE는 모델이 인과적 추론과 교차 규모(cross-scale) 추론을 수행하도록 도전 과제를 제시합니다. 우리의 벤치마크는 AI 시스템이 실제 과학자처럼 추론하는 능력을 평가하기 위한 견고한 프레임워크를 제공하며, 생물학 연구에 기여할 수 있는 잠재력을 측정하는 보다 실질적인 척도를 제시합니다.

The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.