소프트맥스는 충분하지 않다 (적응형 컨포멀 분류를 위한)

Softmax is not Enough (for Adaptive Conformal Classification)

불확실성 정량화를 위한 분포-자유 프레임워크인 컨포멀 예측(CP)의 장점은 효율적인 예측 집합을 생성하는 데 달려 있는데, 이는 작은 평균 집합 크기로 나타나며, 동시에 입력의 난이도에 따라 크기가 변하여 불확실성을 나타내는 적응성을 갖습니다. 딥 컨포멀 분류기의 주요 한계점은 비적합성 점수가 소프트맥스 출력에서 파생되는데, 이는 특정 입력에 대해 모델이 실제로 얼마나 확신하는지를 나타내는 신뢰할 수 있는 지표가 아닐 수 있으며, 때로는 과도한 확신을 가진 오분류 또는 불필요한 주저를 초래할 수 있다는 것입니다. 본 연구에서는 이러한 신뢰성의 부족이 CP에 의해 생성되는 예측 집합에 영향을 미쳐, 그 적응성을 제한할 수 있다고 주장합니다. 우리는 헬름홀츠 자유 에너지를 사용하여 모델의 불확실성과 샘플의 난이도를 측정하는 사전 소프트맥스 로짓 공간의 정보를 활용하는 새로운 접근 방식을 제안합니다. 각 샘플의 에너지 점수를 단조적으로 변환하여 비적합성 점수를 재가중함으로써, 입력 난이도에 대한 민감도를 향상시킵니다. 최첨단 점수 함수를 사용하여 여러 데이터 세트와 딥 아키텍처에서 수행한 실험 결과, 에너지 기반 강화가 예측 집합의 적응성을 향상시켜 기본 비적합성 점수와 비교하여 효율성과 적응성 모두에서 상당한 개선을 가져오며, 동시에 추가적인 사후 복잡성을 도입하지 않는다는 것을 보여줍니다.

The merit of Conformal Prediction (CP), as a distribution-free framework for uncertainty quantification, depends on generating prediction sets that are efficient, reflected in small average set sizes, while adaptive, meaning they signal uncertainty by varying in size according to input difficulty. A central limitation for deep conformal classifiers is that the nonconformity scores are derived from softmax outputs, which can be unreliable indicators of how certain the model truly is about a given input, sometimes leading to overconfident misclassifications or undue hesitation. In this work, we argue that this unreliability can be inherited by the prediction sets generated by CP, limiting their capacity for adaptiveness. We propose a new approach that leverages information from the pre-softmax logit space, using the Helmholtz Free Energy as a measure of model uncertainty and sample difficulty. By reweighting nonconformity scores with a monotonic transformation of the energy score of each sample, we improve their sensitivity to input difficulty. Our experiments with four state-of-the-art score functions on multiple datasets and deep architectures show that this energy-based enhancement improves the adaptiveness of the prediction sets, leading to a notable increase in both efficiency and adaptiveness compared to baseline nonconformity scores, without introducing any post-hoc complexity.