OpenNovelty: LLM 기반의 에이전트 시스템을 활용한 검증 가능한 학문적 혁신성 평가

OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment

동료 심사에서 혁신성을 평가하는 것은 매우 중요하지만 어려운 과제입니다. 왜냐하면 심사위원은 방대하고 빠르게 변화하는 문헌을 바탕으로 제출된 논문을 평가해야 하기 때문입니다. 본 보고서는 투명하고 증거 기반의 혁신성 분석을 위한 LLM 기반 에이전트 시스템인 OpenNovelty를 소개합니다. 이 시스템은 다음과 같은 네 단계로 작동합니다. (1) 핵심 과제와 기여 내용을 추출하여 검색 쿼리를 생성합니다. (2) 추출된 쿼리를 기반으로 의미 검색 엔진을 통해 관련 기존 연구를 검색합니다. (3) 핵심 과제와 관련된 연구의 계층적 분류 체계를 구성하고, 각 기여 수준에서 전체 텍스트 비교를 수행합니다. (4) 모든 분석 결과를 명시적인 인용 및 증거 조각과 함께 구조화된 혁신성 보고서로 종합합니다. OpenNovelty는 기존의 단순한 LLM 기반 접근 방식과 달리, 검색된 실제 논문을 기반으로 모든 평가를 수행하여 검증 가능한 판단을 내립니다. 저희는 이 시스템을 ICLR 2026에 제출된 500개 이상의 논문에 적용했으며, 모든 보고서는 저희 웹사이트에서 공개적으로 이용할 수 있습니다. 초기 분석 결과, OpenNovelty는 관련 기존 연구, 특히 저자들이 간과할 수 있는 밀접하게 관련된 논문을 식별하는 데 효과적입니다. OpenNovelty는 연구 커뮤니티에 공정하고 일관성 있으며 증거 기반의 동료 심사를 촉진하는 확장 가능한 도구를 제공하는 것을 목표로 합니다.

Evaluating novelty is critical yet challenging in peer review, as reviewers must assess submissions against a vast, rapidly evolving literature. This report presents OpenNovelty, an LLM-powered agentic system for transparent, evidence-based novelty analysis. The system operates through four phases: (1) extracting the core task and contribution claims to generate retrieval queries; (2) retrieving relevant prior work based on extracted queries via semantic search engine; (3) constructing a hierarchical taxonomy of core-task-related work and performing contribution-level full-text comparisons against each contribution; and (4) synthesizing all analyses into a structured novelty report with explicit citations and evidence snippets. Unlike naive LLM-based approaches, \textsc{OpenNovelty} grounds all assessments in retrieved real papers, ensuring verifiable judgments. We deploy our system on 500+ ICLR 2026 submissions with all reports publicly available on our website, and preliminary analysis suggests it can identify relevant prior work, including closely related papers that authors may overlook. OpenNovelty aims to empower the research community with a scalable tool that promotes fair, consistent, and evidence-backed peer review.