OmniReview: 현실적인 리뷰어 추천을 위한 대규모 벤치마크 및 LLM 기반 프레임워크

OmniReview: A Large-scale Benchmark and LLM-enhanced Framework for Realistic Reviewer Recommendation

학문적 동료 심사는 학문적 검증의 핵심이지만, 이 분야는 데이터 및 방법론 측면에서 몇 가지 어려움을 겪고 있습니다. 데이터 측면에서, 기존 연구는 대규모의 검증된 벤치마크 부족과 실제 편집 워크플로우를 제대로 반영하지 못하는 단순화된 평가 지표로 인해 제약을 받습니다. 이러한 격차를 해소하기 위해, 우리는 다중 소스 학술 플랫폼을 통합하여 포괄적인 학문적 프로필을 구축하고, 중복 제거 파이프라인을 통해 202,756개의 검증된 리뷰 기록을 포함하는 종합 데이터셋인 OmniReview를 제시합니다. 이 데이터를 기반으로, 우리는 추천 시스템의 성능을 리콜(recall)부터 정확한 전문가 식별에 이르기까지 평가하기 위한 세 단계의 계층적 평가 프레임워크를 소개합니다. 방법론 측면에서, 기존의 임베딩 기반 접근 방식은 의미론적 압축으로 인한 정보 병목 현상과 제한적인 해석 가능성 문제를 가지고 있습니다. 이러한 방법론적 한계를 해결하기 위해, 우리는 다중 게이트 혼합 전문가(Multi-gate Mixture-of-Experts, MMoE)를 활용하여 대규모 언어 모델(LLM)과 다중 작업 학습을 결합한 새로운 프레임워크인 Profiling Scholars with Multi-gate Mixture-of-Experts (Pro-MMoE)를 제안합니다. 특히, Pro-MMoE는 LLM이 생성한 의미론적 프로필을 활용하여 미세한 전문 지식의 차이를 보존하고 해석 가능성을 높이는 동시에, 작업에 적응하는 MMoE 아키텍처를 사용하여 충돌하는 평가 목표를 동적으로 균형 있게 조정합니다. 종합적인 실험 결과는 Pro-MMoE가 7가지 평가 지표 중 6가지에서 최고 성능을 달성하여 현실적인 리뷰어 추천을 위한 새로운 벤치마크를 제시함을 보여줍니다.

Academic peer review remains the cornerstone of scholarly validation, yet the field faces some challenges in data and methods. From the data perspective, existing research is hindered by the scarcity of large-scale, verified benchmarks and oversimplified evaluation metrics that fail to reflect real-world editorial workflows. To bridge this gap, we present OmniReview, a comprehensive dataset constructed by integrating multi-source academic platforms encompassing comprehensive scholarly profiles through the disambiguation pipeline, yielding 202, 756 verified review records. Based on this data, we introduce a three-tier hierarchical evaluaion framework to assess recommendations from recall to precise expert identification. From the method perspective, existing embedding-based approaches suffer from the information bottleneck of semantic compression and limited interpretability. To resolve these method limitations, we propose Profiling Scholars with Multi-gate Mixture-of-Experts (Pro-MMoE), a novel framework that synergizes Large Language Models (LLMs) with Multi-task Learning. Specifically, it utilizes LLM-generated semantic profiles to preserve fine-grained expertise nuances and interpretability, while employing a Task-Adaptive MMoE architecture to dynamically balance conflicting evaluation goals. Comprehensive experiments demonstrate that Pro-MMoE achieves state-of-the-art performance across six of seven metrics, establishing a new benchmark for realistic reviewer recommendation.