모델 순위 결정 시 평가 노력의 동적 할당

Dynamically Allocating Evaluation Effort for Model Ranking

많은 자연어 처리 작업에서 인간 평가가 가장 신뢰할 수 있는 방법이지만, 높은 비용과 낮은 확장성이라는 단점이 있습니다. 일반적으로 모델 성능을 비교할 때, 모든 모델을 전체 벤치마크 데이터셋으로 평가하는 방식은 안전하지만 비효율적입니다. 본 연구에서는 다중 모델의 인간 평가를 다중 암밴딧 문제로 공식화하며, 각 '암'은 상관 관계를 갖는 모델을 나타냅니다 (각 암을 '당기는' 것은 모델에 대한 인간 평가를 수행하는 것을 의미). 지금까지 얻은 중간 모델 순위를 기반으로 적응적으로 샘플링함으로써, 우리는 예산이 제한된 상황에서 가장 경쟁력 있는 모델에 평가 자원을 집중할 수 있습니다. 제안된 알고리즘의 최적성을 증명하고, 최고 성능을 보이는 모델 간의 구분을 향상시킨다는 것을 보여줍니다. 이를 통해 평가 시간을 단축하고 비용을 절감하며, 대규모 경진대회 평가 목표와 더욱 일치하는 결과를 얻을 수 있습니다.

While human evaluation is the gold standard in many NLP tasks, it suffers from prohibitive costs and poor scalability. When identifying top-performing models, typical evaluation protocols waste effort by exhaustively evaluating all models on the entire benchmark, a safe but inefficient approach. In this work, we formalize multi-model human evaluation as a best-arm identification problem in a multi-armed bandit setup with correlated arms, where pulling an arm corresponds to human-evaluating a model. By sampling adaptively based on the intermediate model rankings obtained on the samples so far, we can focus the annotation budget on the most competitive models. We prove the optimality of the proposed algorithms and show that it improves discrimination between top-performing models. This makes evaluations faster, cheaper and more aligned with large-scale competition evaluation goals.