등간격 메커니즘을 활용한 ML/AI 학회 우수 논문 선정 제안

Recommending Best Paper Awards for ML/AI Conferences via the Isotonic Mechanism

NeurIPS 및 ICML과 같은 머신러닝 및 인공지능 학회는 수만 건의 논문이 접수되는 경우가 많아, 심사 과정의 품질과 일관성을 유지하는 데 상당한 어려움을 겪고 있습니다. 특히 우수 논문 선정은 중요한 심사 과정의 일부이지만, 최근 몇 년 동안 선정 과정에 대한 논쟁이 끊이지 않고 있습니다. 본 논문에서는 우수 논문 선정 과정을 지원하는 저자 참여형 메커니즘을 소개합니다. 저희 방법은 등간격 메커니즘을 활용하여 저자가 자신의 논문에 대한 평가를 순위 형태로 제공하도록 유도하고, 이를 바탕으로 심사 점수를 조정하여 논문의 실제 품질을 최적으로 추정합니다. 저자가 조정된 점수에 대한 효용 함수가 볼록 함수일 때 진실성을 확보할 수 있음을 보였으며, 2019년부터 2023년까지의 ICLR 및 2021년부터 2023년까지의 NeurIPS 공개 심사 데이터를 사용하여 이 볼록성 가정을 검증했습니다. 특히, 저자가 단 하나의 논문만 추천할 수 있는 경우, 효용 함수가 단조 증가 함수이고 가산 함수일 때에도 진실성이 유지됨을 증명했습니다. 이는 기존 연구에서 요구되던 가정보다 훨씬 완화된 조건입니다. 실제 구현을 위해, 저희는 공동 저자가 있는 일반적인 경우에도 적용할 수 있도록 메커니즘을 확장했습니다. 시뮬레이션 결과, 저희 메커니즘은 선정되는 논문의 품질을 크게 향상시키는 것으로 나타났습니다.

Machine learning and artificial intelligence conferences such as NeurIPS and ICML now regularly receive tens of thousands of submissions, posing significant challenges to maintaining the quality and consistency of the peer review process. This challenge is particularly acute for best paper awards, which are an important part of the peer review process, yet whose selection has increasingly become a subject of debate in recent years. In this paper, we introduce an author-assisted mechanism to facilitate the selection of best paper awards. Our method employs the Isotonic Mechanism for eliciting authors' assessments of their own submissions in the form of a ranking, which is subsequently utilized to adjust the raw review scores for optimal estimation of the submissions' ground-truth quality. We demonstrate that authors are incentivized to report truthfully when their utility is a convex additive function of the adjusted scores, and we validate this convexity assumption for best paper awards using publicly accessible review data of ICLR from 2019 to 2023 and NeurIPS from 2021 to 2023. Crucially, in the special case where an author has a single quota -- that is, may nominate only one paper -- we prove that truthfulness holds even when the utility function is merely nondecreasing and additive. This finding represents a substantial relaxation of the assumptions required in prior work. For practical implementation, we extend our mechanism to accommodate the common scenario of overlapping authorship. Finally, simulation results demonstrate that our mechanism significantly improves the quality of papers selected for awards.