AI는 좋은 동료 심사위원(Peer Reviewer)이 될 수 있는가? 동료 심사 과정, 평가, 그리고 미래에 대한 고찰

Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future

동료 심사는 검토, 반론, 메타 리뷰, 최종 결정, 그리고 이후 논문 수정 과정을 포함하는 다단계 프로세스입니다. 최근 대규모 언어 모델(LLM)의 발전은 이 파이프라인의 다양한 단계를 지원하거나 자동화하는 방법론에 영감을 주었습니다. 본 논문에서는 (i) 미세 조정 전략, 에이전트 기반 시스템, 강화 학습 기반 방법, 그리고 생성 능력을 향상시키는 새로운 패러다임을 포함하는 동료 심사 생성 기술; (ii) 반론, 메타 리뷰, 그리고 심사 결과에 따른 수정 등 심사 후 작업; (iii) 인간 중심, 참조 기반, LLM 기반, 그리고 관점 기반 평가 방법 등 다양한 평가 방법을 종합적으로 분석합니다. 우리는 관련 데이터셋을 정리하고, 모델링 선택을 비교하며, 한계점, 윤리적 문제, 그리고 미래 연구 방향에 대해 논의합니다. 본 논문은 LLM 시스템을 구축, 평가, 그리고 전체 동료 심사 워크플로우에 통합하기 위한 실질적인 지침을 제공하는 것을 목표로 합니다.

Peer review is a multi-stage process involving reviews, rebuttals, meta-reviews, final decisions, and subsequent manuscript revisions. Recent advances in large language models (LLMs) have motivated methods that assist or automate different stages of this pipeline. In this survey, we synthesize techniques for (i) peer review generation, including fine-tuning strategies, agent-based systems, RL-based methods, and emerging paradigms to enhance generation; (ii) after-review tasks including rebuttals, meta-review and revision aligned to reviews; and (iii) evaluation methods spanning human-centered, reference-based, LLM-based and aspect-oriented. We catalog datasets, compare modeling choices, and discuss limitations, ethical concerns, and future directions. The survey aims to provide practical guidance for building, evaluating, and integrating LLM systems across the full peer review workflow.