학술 동료 검토에서 생성형 AI 콘텐츠 탐지

Detecting AI-Generated Content in Academic Peer Reviews

대규모 언어 모델(LLM)의 확산은 학술 동료 검토에서의 역할에 대한 의문을 제기하고 있습니다. 본 연구는 생성형 AI 콘텐츠의 시계열적 발생을 조사하기 위해, 과거 검토 자료를 기반으로 학습된 탐지 모델을 사용하여 International Conference on Learning Representations (ICLR) 및 Nature Communications의 후속 검토 주기에 적용했습니다. 2022년 이전에 생성형 AI 콘텐츠가 탐지되는 경우는 거의 없었지만, 2025년까지 상당한 증가를 보였으며, 2025년에 ICLR 검토의 약 20%와 Nature Communications 검토의 약 12%가 생성형 AI로 분류되었습니다. Nature Communications에서 생성형 AI 검토가 가장 두드러지게 증가한 시기는 2024년 3분기와 4분기 사이였습니다. 이러한 결과는 학술 평가에 미치는 영향과 함께, 동료 검토에서 AI 지원 콘텐츠의 급격한 증가를 시사하며, 이에 대한 추가 연구의 필요성을 강조합니다.

The growing availability of large language models (LLMs) has raised questions about their role in academic peer review. This study examines the temporal emergence of AI-generated content in peer reviews by applying a detection model trained on historical reviews to later review cycles at International Conference on Learning Representations (ICLR) and Nature Communications (NC). We observe minimal detection of AI-generated content before 2022, followed by a substantial increase through 2025, with approximately 20% of ICLR reviews and 12% of Nature Communications reviews classified as AI-generated in 2025. The most pronounced growth of AI-generated reviews in NC occurs between the third and fourth quarter of 2024. Together, these findings provide suggestive evidence of a rapidly increasing presence of AI-assisted content in peer review and highlight the need for further study of its implications for scholarly evaluation.