ScholarPeer: 문맥 인지 기반 다중 에이전트 프레임워크를 활용한 자동 피어 리뷰

ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review

자동 피어 리뷰는 단순한 텍스트 분류에서 구조화된 피드백 생성으로 발전해 왔습니다. 그러나 현재 최고 수준의 시스템은 여전히 "표면적인" 비판에 어려움을 겪습니다. 이러한 시스템은 내용 요약에는 뛰어나지만, 종종 인간 전문가가 가진 외부적인 맥락이 부족하여 논문의 참신성 및 중요성을 정확하게 평가하거나 심각한 방법론적 결함을 식별하는 데 실패합니다. 본 논문에서는 ScholarPeer라는 검색 기능을 갖춘 다중 에이전트 프레임워크를 소개합니다. ScholarPeer는 선임 연구원의 인지 과정을 모방하도록 설계되었으며, 문맥 정보 획득과 능동적인 검증이라는 이중 프로세스를 사용합니다. ScholarPeer는 역사학자 에이전트를 사용하여 특정 분야의 맥락을 동적으로 구성하고, 기준 탐색 에이전트를 통해 누락된 비교 분석을 식별하며, 다중 측면 질의응답 엔진을 통해 주장을 검증하여, 실시간 웹 규모의 문헌을 기반으로 비판을 수행합니다. 우리는 DeepReview-13K 데이터셋을 사용하여 ScholarPeer를 평가한 결과, ScholarPeer는 다른 최첨단 접근 방식과 비교 평가에서 상당한 우위를 보였으며, 인간 수준의 다양성과 격차를 줄이는 데 기여했습니다.

Automated peer review has evolved from simple text classification to structured feedback generation. However, current state-of-the-art systems still struggle with "surface-level" critiques: they excel at summarizing content but often fail to accurately assess novelty and significance or identify deep methodological flaws because they evaluate papers in a vacuum, lacking the external context a human expert possesses. In this paper, we introduce ScholarPeer, a search-enabled multi-agent framework designed to emulate the cognitive processes of a senior researcher. ScholarPeer employs a dual-stream process of context acquisition and active verification. It dynamically constructs a domain narrative using a historian agent, identifies missing comparisons via a baseline scout, and verifies claims through a multi-aspect Q&A engine, grounding the critique in live web-scale literature. We evaluate ScholarPeer on DeepReview-13K and the results demonstrate that ScholarPeer achieves significant win-rates against state-of-the-art approaches in side-by-side evaluations and reduces the gap to human-level diversity.