능동적 학습 기반 효율적인 PRP 재순위화 방법

Active Learners as Efficient PRP Rerankers

페어와이즈 랭킹 프롬프팅(PRP)은 LLM으로부터 쌍대 비교 선호도를 추출하여, 일반적으로 전통적인 정렬 알고리즘을 통해 순위를 결정합니다. 그러나 이러한 판단은 노이즈가 많고, 순서에 민감하며, 때로는 비일관성을 가지므로, 전통적인 정렬 방식은 이러한 상황에 적합하지 않습니다. 정렬은 전체 순열을 복원하는 것을 목표로 하기 때문에, 예산 제약 하에서 순열을 자르면 신뢰할 수 있는 상위 K개의 결과를 얻기 어렵습니다. 따라서 본 연구에서는 PRP 재순위화를 노이즈가 많은 쌍대 비교로부터의 능동적 학습 문제로 재정의하고, 능동적 순위화 방법이 호출 제약 환경에서 NDCG@10을 향상시키는 대체 방법임을 보여줍니다. 또한, 본 연구에서는 노이즈에 강건한 프레임워크를 도입하여, 단일 LLM 호출을 사용하여 랜덤 방향 오라클을 활용합니다. 이러한 접근 방식은 체계적인 위치 편향을 평균 0의 노이즈로 변환하여, 양방향 호출 비용 없이 편향되지 않은 통합 순위를 가능하게 합니다.

Pairwise Ranking Prompting (PRP) elicits pairwise preference judgments from an LLM, which are then aggregated into a ranking, usually via classical sorting algorithms. However, judgments are noisy, order-sensitive, and sometimes intransitive, so sorting assumptions do not match the setting. Because sorting aims to recover a full permutation, truncating it to meet a call budget does not produce a dependable top-K. We thus reframe PRP reranking as active learning from noisy pairwise comparisons and show that active rankers are drop-in replacements that improve NDCG@10 per call in the call-constrained regime. Our noise-robust framework also introduces a randomized-direction oracle that uses a single LLM call per pair. This approach converts systematic position bias into zero-mean noise, enabling unbiased aggregate ranking without the cost of bidirectional calls.