누구를 신뢰할 수 있는가? 비교 평가를 위한 LLM 기반 배심원 시스템

Who can we trust? LLM-as-a-jury for Comparative Assessment

대규모 언어 모델(LLM)은 자연어 생성 평가를 위한 자동 평가기로 점점 더 많이 활용되며, 주로 쌍대 비교 판단을 사용합니다. 기존 접근 방식은 일반적으로 단일 평가자에게 의존하거나 여러 평가자를 사용하여 동일한 신뢰도를 가정합니다. 그러나 실제로는 LLM 평가자들은 작업 및 측면별로 성능이 크게 다르고, 그들의 판단 확률은 편향되고 일관성이 없을 수 있습니다. 또한, 평가자 교정을 위한 인간 레이블링된 데이터가 없을 수도 있습니다. 우리는 먼저 LLM의 비교 확률에서 발생하는 불일치를 경험적으로 입증하고, 이것이 직접적인 확률 기반 순위 결정의 효과를 제한한다는 것을 보여줍니다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반 배심원 시스템(LLM-as-a-jury) 설정을 연구하고, 각 평가자에 대한 차별화 파라미터를 도입하여 쌍대 비교만으로 항목 순위와 평가자 신뢰도를 동시에 추론하는 Bradley-Terry 모델의 확장인 BT-sigma를 제안합니다. 벤치마크 자연어 생성 평가 데이터 세트에 대한 실험 결과, BT-sigma는 평균 기반 집계 방법보다 일관되게 우수한 성능을 보이며, 학습된 차별화 파라미터는 LLM 판단의 순환 일관성 정도를 나타내는 독립적인 측정값과 강한 상관관계를 보입니다. 추가 분석 결과, BT-sigma는 평가자 신뢰도를 모델링하여 집계 성능을 향상시키는 비지도 교정 메커니즘으로 해석될 수 있습니다.

Large language models (LLMs) are increasingly applied as automatic evaluators for natural language generation assessment often using pairwise comparative judgements. Existing approaches typically rely on single judges or aggregate multiple judges assuming equal reliability. In practice, LLM judges vary substantially in performance across tasks and aspects, and their judgment probabilities may be biased and inconsistent. Furthermore, human-labelled supervision for judge calibration may be unavailable. We first empirically demonstrate that inconsistencies in LLM comparison probabilities exist and show that it limits the effectiveness of direct probability-based ranking. To address this, we study the LLM-as-a-jury setting and propose BT-sigma, a judge-aware extension of the Bradley-Terry model that introduces a discriminator parameter for each judge to jointly infer item rankings and judge reliability from pairwise comparisons alone. Experiments on benchmark NLG evaluation datasets show that BT-sigma consistently outperforms averaging-based aggregation methods, and that the learned discriminator strongly correlates with independent measures of the cycle consistency of LLM judgments. Further analysis reveals that BT-sigma can be interpreted as an unsupervised calibration mechanism that improves aggregation by modelling judge reliability.