LLM 기반 비교 순위를 활용하여 마지널 리뷰를 경계선 논문에 할당하는 방법

Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking

본 논문에서는 대규모 머신러닝 학회들이 추가적인 리뷰 자원을 무작위 또는 유사성 기반 방식으로 분배하는 대신, 합격 가능성이 낮은 논문들을 중심으로 할당해야 한다고 주장합니다. 우리는 LLM 기반의 비교 순위 모델(짝별 비교 및 브래들리-테리 모델 활용)을 사용하여 인간 리뷰 전에 경계선 논문 그룹을 식별하고, 논문 배정 시점에 마지널 리뷰어 자원을 할당하는 방법을 제안합니다. 구체적으로, 각 학회에서 설정한 최소 리뷰 목표 수(예: 3개 또는 4개)를 기준으로, 예측된 경계선 논문에 추가 리뷰(예: 4번째 또는 5번째 리뷰)를 할당합니다. 이때, 인간 리뷰 결과에 의존하지 않으며, LLM 결과를 합격/불합격 결정에 사용하지 않습니다. 우리는 예측된 경계선 집합과 실제 경계선 집합 간의 중첩 정도(ρ) 및 경계선 근처 논문에 대한 추가 리뷰의 가치(Δ)를 기반으로 예상되는 효과를 간단하게 계산하는 방법을 제시하며, 이러한 값을 추정하기 위한 후향적 지표를 제공합니다.

This paper argues that large ML conferences should allocate marginal review capacity primarily to papers near the acceptance boundary, rather than spreading extra reviews via random or affinity-driven heuristics. We propose using LLM-based comparative ranking (via pairwise comparisons and a Bradley--Terry model) to identify a borderline band \emph{before} human reviewing and to allocate \emph{marginal} reviewer capacity at assignment time. Concretely, given a venue-specific minimum review target (e.g., 3 or 4), we use this signal to decide which papers receive one additional review (e.g., a 4th or 5th), without conditioning on any human reviews and without using LLM outputs for accept/reject. We provide a simple expected-impact calculation in terms of (i) the overlap between the predicted and true borderline sets ($ρ$) and (ii) the incremental value of an extra review near the boundary ($Δ$), and we provide retrospective proxies to estimate these quantities.