AI 최고 학회 논문집을 분석한 세부적인 관점에서, 대규모 언어 모델이 동료 평가 의견에 미치는 영향: 증거

Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

대규모 언어 모델(LLM)의 급속한 발전으로 인해 학계는 전례 없는 변화를 겪고 있으며, 특히 학술적 의사소통 분야에서 그러한 변화가 두드러집니다. 동료 평가의 주요 기능은 학술 논문의 질을 향상시키는 것이며, 여기에는 명확성, 독창성 등 다양한 평가 요소가 포함됩니다. 기존 연구에서는 LLM이 동료 평가에 영향을 미치기 시작했다는 주장이 있지만, LLM이 동료 평가의 핵심적인 평가 기능을 변화시키는지 여부는 아직 명확하지 않습니다. 또한, LLM이 동료 평가 보고서의 언어적 형식, 평가의 초점, 그리고 추천과 관련된 신호에 미치는 영향이 체계적으로 조사된 적이 없습니다. 본 연구에서는 LLM의 등장 이후, 학술 논문에 대한 동료 평가 보고서가 어떻게 변화하는지, 특히 세부적인 수준의 변화에 초점을 맞춰 분석합니다. 구체적으로, 동료 평가 의견에 사용된 단어와 문장의 길이 및 복잡성과 같은 언어적 특징을 조사하고, 개별 동료 평가 문장의 평가 요소를 자동으로 분석합니다. 또한, 이전에 확립된 최대 우도 추정 방법을 사용하여 LLM에 의해 수정되거나 생성되었을 가능성이 있는 동료 평가 보고서를 식별합니다. 마지막으로, LLM의 도움을 받아 작성된 동료 평가 보고서에 언급된 평가 요소가 논문 결정에 대한 추천의 정보성에 미치는 영향을 평가합니다. 연구 결과는 LLM의 등장 이후, 동료 평가 텍스트가 길어지고 더 유창해졌으며, 요약 및 표면적인 명확성에 대한 강조가 증가하고, 특히 신뢰도가 낮은 평가자의 경우 더 표준화된 언어 패턴을 보인다는 것을 보여줍니다. 동시에, 독창성, 재현성, 미묘한 비판적 사고와 같은 심층적인 평가 요소에 대한 관심은 감소했습니다.

With the rapid advancement of Large Language Models (LLMs), the academic community has faced unprecedented disruptions, particularly in the realm of academic communication. The primary function of peer review is improving the quality of academic manuscripts, such as clarity, originality and other evaluation aspects. Although prior studies suggest that LLMs are beginning to influence peer review, it remains unclear whether they are altering its core evaluative functions. Moreover, the extent to which LLMs affect the linguistic form, evaluative focus, and recommendation-related signals of peer-review reports has yet to be systematically examined. In this study, we examine the changes in peer review reports for academic articles following the emergence of LLMs, emphasizing variations at fine-grained level. Specifically, we investigate linguistic features such as the length and complexity of words and sentences in review comments, while also automatically annotating the evaluation aspects of individual review sentences. We also use a maximum likelihood estimation method, previously established, to identify review reports that potentially have modified or generated by LLMs. Finally, we assess the impact of evaluation aspects mentioned in LLM-assisted review reports on the informativeness of recommendation for paper decision-making. The results indicate that following the emergence of LLMs, peer review texts have become longer and more fluent, with increased emphasis on summaries and surface-level clarity, as well as more standardized linguistic patterns, particularly reviewers with lower confidence score. At the same time, attention to deeper evaluative dimensions, such as originality, replicability, and nuanced critical reasoning, has declined.