BERT-as-a-Judge: 효율적인 참조 기반 LLM 평가를 위한 강력하고 유연한 대안

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

정확한 평가는 대규모 언어 모델(LLM) 생태계의 핵심이며, 모델 선택과 다양한 사용 사례에서의 활용을 안내합니다. 그러나 일반적으로 생성된 결과물을 평가할 때는 정해진 형식 지침을 준수하는지 확인하기 위해 엄격한 어휘 기반 방법이 사용되는데, 이는 모델의 실제 문제 해결 능력과 미리 정의된 형식 준수를 혼동시킬 수 있습니다. 최근의 LLM-as-a-Judge 방법은 의미적 정확성을 평가하여 이러한 문제를 완화하지만, 상당한 계산 비용을 발생시켜 평가를 어렵게 만듭니다. 본 연구에서는 먼저 36개의 모델과 15개의 downstream 작업에 걸친 대규모 실험을 통해 어휘 기반 평가의 한계를 체계적으로 조사하고, 이러한 방법이 인간의 판단과 낮은 상관관계를 가진다는 것을 보여줍니다. 이러한 한계를 해결하기 위해, 우리는 BERT-as-a-Judge를 제안합니다. 이는 참조 기반 생성 환경에서 답변의 정확성을 평가하는 인코더 기반 접근 방식으로, 출력 표현의 변형에 강하며, 합성적으로 주석이 달린 질문-후보-참조 3중항에 대한 경량 학습만으로 작동합니다. 실험 결과, BERT-as-a-Judge는 어휘 기반 기준 모델보다 일관되게 우수한 성능을 보이며, 훨씬 더 큰 LLM 평가 모델과 동등한 성능을 제공합니다. 이는 두 접근 방식 간의 매력적인 절충안을 제공하며, 신뢰할 수 있고 확장 가능한 평가를 가능하게 합니다. 또한, 광범위한 실험을 통해 BERT-as-a-Judge의 성능에 대한 자세한 정보를 제공하여 실무자에게 실용적인 지침을 제공하고, 프로젝트 관련 모든 자료를 공개하여 후속 활용을 촉진합니다.

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.