SciRisk-Bench: 과학 안전을 위한 위험 요소를 고려한 AI4Science 벤치마크

SciRisk-Bench: A Risk-Dimension-Aware Benchmark for AI4Science Safety

대규모 언어 모델(LLM)은 과학 질문 답변 및 문헌 분석부터 실험실 계획 및 자율적 발견에 이르기까지 AI for Science (AI4Science) 워크플로우에 점점 더 많이 사용되고 있습니다. 이러한 발전으로 인해, 과학적 능력뿐만 아니라 모델이 고위험의 과학적 맥락에서 위험을 인지하고 회피하는지를 평가하는 안전 벤치마크가 시급하게 필요합니다. 기존 AI4Science 안전 데이터셋은 여러 분야와 작업 형식을 다루지만, 근본적인 위험 요소를 명확하게 규정하지 못했습니다. 본 논문에서는 두 가지 상호 보완적인 관점, 즉 명시적인 위험 요소와 과학 분야를 통해 AI4Science 안전을 평가하도록 설계된 벤치마크인 SciRisk-Bench를 소개합니다. SciRisk-Bench는 7개의 주요 분야, 31개의 세부 분야 및 10가지의 위험 요소를 포함합니다. 실험 섹션에서는 주류 LLM과 과학 분야에 특화된 LLM을 다양한 위험 요소, 분야 및 세부 분야에서 평가하여, 과학 모델이 여전히 안전하지 않은 부분을 상세하게 진단할 수 있도록 합니다.

Large language models (LLMs) are increasingly embedded in AI for Science (AI4Science) workflows, from scientific question answering and literature analysis to laboratory planning and autonomous discovery. This progress creates an urgent need for safety benchmarks that evaluate not only scientific competence, but also whether models recognize and avoid risks in high-stakes scientific contexts. Existing AI4Science safety datasets cover several disciplines and task formats, leaving the underlying risk dimensions underspecified. We introduce \textbf{SciRisk-Bench}, a benchmark designed to evaluate AI4Science safety from two complementary perspectives: explicit risk dimensions and scientific disciplines. SciRisk-Bench covers 7 disciplines, 31 subdisciplines and 10 risk dimensions. In the experimental section, we evaluate both mainstream LLMs and science-oriented LLMs across risk dimensions, disciplines, and sub-disciplines, enabling fine-grained diagnosis of where scientific models remain unsafe.