동료 평가 시스템 붕괴 방지를 위한 검증 우선 AI

Preventing the Collapse of Peer Review Requires Verification-First AI

본 논문에서는 AI 기반 동료 평가가 리뷰 모방이 아닌 검증을 우선적으로 해야 한다고 주장합니다. 우리는 리뷰 도구의 올바른 목표를 '진실과의 밀접한 연관성', 즉 연구 결과의 실제 진실성을 얼마나 잘 반영하는가로 제시합니다. 우리는 '프록시 주권'으로 향하는 평가 시스템의 변화를 야기하는 두 가지 요인을 공식화합니다. 첫째는 주장이 검증 능력보다 빠를 때 발생하는 '검증 압력'이고, 둘째는 실제 개선 사항과 노이즈를 구별하기 어려워질 때 발생하는 '신호 감소'입니다. 우리는 가끔 고품질 검증과 빈번한 프록시 판단을 결합한 최소 모델을 사용하여, 명확한 연관성 법칙과 '인센티브 붕괴 조건'을 도출합니다. 이 조건에서는 합리적인 노력이 진실 추구를 통해 프록시 최적화로 전환되며, 심지어 현재 결정이 신뢰할 만해 보이더라도 이러한 현상이 발생할 수 있습니다. 이러한 결과는 도구 개발자와 프로그램 책임자에게 다음과 같은 행동을 촉구합니다. AI를 점수 예측 도구가 아닌, 감사 가능한 검증 결과물을 생성하고 효과적인 검증 범위를 확장하는 '적대적 감사자'로 활용해야 합니다. 이는 주장의 과대 포장을 증폭시키는 대신, 실제 검증을 강화하는 데 도움이 될 것입니다.

This paper argues that AI-assisted peer review should be verification-first rather than review-mimicking. We propose truth-coupling, i.e. how tightly venue scores track latent scientific truth, as the right objective for review tools. We formalize two forces that drive a phase transition toward proxy-sovereign evaluation: verification pressure, when claims outpace verification capacity, and signal shrinkage, when real improvements become hard to separate from noise. In a minimal model that mixes occasional high-fidelity checks with frequent proxy judgment, we derive an explicit coupling law and an incentive-collapse condition under which rational effort shifts from truth-seeking to proxy optimization, even when current decisions still appear reliable. These results motivate actions for tool builders and program chairs: deploy AI as an adversarial auditor that generates auditable verification artifacts and expands effective verification bandwidth, rather than as a score predictor that amplifies claim inflation.