APRES: 능동적인 논문 수정 및 평가 시스템

APRES: An Agentic Paper Revision and Evaluation System

과학적 발견은 그 잠재력을 최대한 발휘하기 위해서는 명확하게 전달되어야 합니다. 효과적인 의사소통 없이는 가장 획기적인 연구 결과조차도 간과되거나 오해될 위험이 있습니다. 과학자들이 자신의 연구 결과를 공유하고 커뮤니티로부터 피드백을 받는 주요 방법은 동료 평가입니다. 그러나 현재 시스템은 종종 검토자 간의 일관성 없는 피드백을 제공하여, 결과적으로 논문의 개선을 방해하고 잠재적 영향력을 제한합니다. 본 논문에서는 대규모 언어 모델(LLM)을 기반으로 한 새로운 방법인 APRES를 소개합니다. APRES는 평가 기준에 따라 과학 논문의 텍스트를 업데이트합니다. 우리의 자동화된 방법은 향후 인용 횟수를 예측하는 데 매우 효과적인 기준을 발견하고, 이를 APRES 시스템에 통합하여 논문의 품질과 영향력을 향상시킵니다. 중요한 점은 이 목표를 달성하면서 핵심적인 과학적 내용을 변경하지 않는다는 것입니다. 우리는 APRES의 성공을 입증했으며, 이는 평균 오차율에서 가장 우수한 기존 방법보다 향후 인용 예측 정확도를 19.6% 향상시켰습니다. 또한, 우리의 논문 수정 프로세스를 통해 생성된 논문이 원본 논문에 비해 인간 전문가 평가자에게 79%의 경우 더 선호되는 것으로 나타났습니다. 우리의 연구 결과는 LLM을 사용하여 저자가 논문을 제출하기 전에 자체적으로 검증하는 데 도움이 되는 도구로서의 활용 가능성에 대한 강력한 경험적 증거를 제공합니다. 궁극적으로, 우리의 연구는 인간 전문가 검토자의 필수적인 역할을 대체하는 것이 아니라 보완하는 것을 목표로 합니다. 진정으로 중요한 발견을 식별하고 과학을 발전시키며 삶을 풍요롭게 하는 역할을 인간이 수행해야 합니다.

Scientific discoveries must be communicated clearly to realize their full potential. Without effective communication, even the most groundbreaking findings risk being overlooked or misunderstood. The primary way scientists communicate their work and receive feedback from the community is through peer review. However, the current system often provides inconsistent feedback between reviewers, ultimately hindering the improvement of a manuscript and limiting its potential impact. In this paper, we introduce a novel method APRES powered by Large Language Models (LLMs) to update a scientific papers text based on an evaluation rubric. Our automated method discovers a rubric that is highly predictive of future citation counts, and integrate it with APRES in an automated system that revises papers to enhance their quality and impact. Crucially, this objective should be met without altering the core scientific content. We demonstrate the success of APRES, which improves future citation prediction by 19.6% in mean averaged error over the next best baseline, and show that our paper revision process yields papers that are preferred over the originals by human expert evaluators 79% of the time. Our findings provide strong empirical support for using LLMs as a tool to help authors stress-test their manuscripts before submission. Ultimately, our work seeks to augment, not replace, the essential role of human expert reviewers, for it should be humans who discern which discoveries truly matter, guiding science toward advancing knowledge and enriching lives.