선택, 라벨링, 평가: NLP 분야의 능동적 테스트

Select, Label, Evaluate: Active Testing in NLP

자연어 처리(NLP) 분야에서 인간의 라벨링 비용과 시간은 여전히 중요한 걸림돌이며, 특히 모델 평가를 위한 신뢰성 있는 결과를 얻기 위해 엄격한 기준에 따라 높은 품질의 라벨링이 요구되는 테스트 데이터 라벨링은 더욱 비용이 많이 듭니다. 기존 방식은 전체 테스트 세트를 라벨링해야 하므로 상당한 자원이 필요합니다. 능동적 테스트(Active Testing)는 라벨링을 위해 가장 유용한 테스트 샘플을 선택하는 프레임워크입니다. 주어진 라벨링 예산 내에서, 이 방법은 모델 성능을 가장 잘 추정하는 하위 집합을 선택하는 것을 목표로 하며, 동시에 비용과 인간의 노력을 최소화합니다. 본 연구에서는 NLP 분야의 능동적 테스트를 공식화하고, 4가지 NLP 작업에 걸쳐 18개의 데이터 세트와 4가지 임베딩 전략을 사용한 기존 방법들에 대한 광범위한 성능 비교를 수행했습니다. 실험 결과, 최대 95%의 라벨링 감소 효과를 보였으며, 전체 테스트 세트와 비교하여 성능 추정 정확도의 차이가 1% 이내였습니다. 분석 결과, 데이터 특성과 작업 유형에 따라 방법의 효과가 달라지는 것을 확인했으며, 어떤 방법도 모든 경우에 대해 보편적으로 우수한 성능을 보이는 것은 아니었습니다. 마지막으로, 기존의 샘플 선택 전략에서 요구되는 사전에 정의된 라벨링 예산의 한계를 극복하기 위해, 최적의 샘플 수를 자동으로 결정하는 적응적 중단 기준을 제안합니다.

Human annotation cost and time remain significant bottlenecks in Natural Language Processing (NLP), with test data annotation being particularly expensive due to the stringent requirement for low-error and high-quality labels necessary for reliable model evaluation. Traditional approaches require annotating entire test sets, leading to substantial resource requirements. Active Testing is a framework that selects the most informative test samples for annotation. Given a labeling budget, it aims to choose the subset that best estimates model performance while minimizing cost and human effort. In this work, we formalize Active Testing in NLP and we conduct an extensive benchmarking of existing approaches across 18 datasets and 4 embedding strategies spanning 4 different NLP tasks. The experiments show annotation reductions of up to 95%, with performance estimation accuracy difference from the full test set within 1%. Our analysis reveals variations in method effectiveness across different data characteristics and task types, with no single approach emerging as universally superior. Lastly, to address the limitation of requiring a predefined annotation budget in existing sample selection strategies, we introduce an adaptive stopping criterion that automatically determines the optimal number of samples.