도메인 전문 지식과 일반화의 연결: 성능 추정을 위한 방법

Bridging Domain Expertise and Generalization for Performance Estimation

분포 변화 환경에서의 성능 추정은 학습 데이터와 분포가 다른 레이블이 없는 테스트 세트에 대한 모델의 동작을 예측하는 것을 목표로 하며, 이를 위해서는 정답 레이블 없이도 모델의 행동을 정확하게 반영할 수 있는 신뢰성 있는 지표가 필요합니다. 기존 방법들은 주어진 모델의 출력에만 의존하며, 이는 분포 변화 시 모델의 편향이 증폭되어 실제 성능과의 상관 관계를 약화시킵니다. 이러한 한계점을 극복하기 위해, 우리는 외부 기반 모델과 기본 모델의 상호 보완적인 장점을 활용하여 정답 레이블을 더욱 신뢰성 있게 추정하는 Fused Reference Alignment Prediction (FRAP) 방법을 제안합니다. FRAP은 온도 스케일링 교정을 적용하여 기반 모델과 기본 모델의 예측 분포를 일치시키고, 이 두 분포 간의 차이를 최소화합니다. 일치된 예측 값들은 신뢰도 기반 가중치를 통해 융합되어, 외부 기반 모델의 견고성과 기본 모델의 도메인 전문 지식을 통합한 개선된 참조 분포를 생성하며, 성능 추정은 기본 모델의 예측이 이 참조 분포와 얼마나 유사한지를 측정하여 이루어집니다. 다양한 데이터셋과 아키텍처에 대한 광범위한 실험 결과는 FRAP이 분포 변화 환경에서 대표적인 성능 추정 방법들보다 일관되고 상당한 개선 효과를 제공한다는 것을 보여줍니다.

Performance estimation under distribution shift aims to predict how a model behaves on an unlabeled test set whose distribution differs from the training data, a scenario that requires reliable indicators that can faithfully reflect model behavior without ground-truth labels. Existing approaches rely solely on the outputs of the given model whose biases are amplified once the distribution shifts, weakening the correlation with the true performance. Motivated by this limitation, we propose Fused Reference Alignment Prediction (FRAP), which leverages the complementary strengths of an external foundation model and the base model to construct a more reliable surrogate of the ground-truth labels. FRAP aligns the prediction distribution of the foundation model with that of the base model by applying temperature-scaled calibration that minimizes their divergence. The aligned predictions are fused through confidence-based weighting into a refined reference distribution that integrates robustness from the foundation model and domain-specific expertise from the base model, and performance estimation is obtained by measuring how closely the base model predictions agree with this reference. Extensive experiments across diverse datasets and architectures show that FRAP provides consistent and substantial improvements over representative performance-estimation methods under distribution shift.