균형 잡힌 분류기: 온도 스케일링의 기본적인 특성에 대한 연구

The Well-Tempered Classifier: Some Elementary Properties of Temperature Scaling

온도 스케일링은 확률 모델의 불확실성을 제어할 수 있는 간단한 방법입니다. 이 방법은 주로 두 가지 분야에서 사용됩니다. 첫째, 분류기의 교정 성능을 향상시키는 것, 둘째, 대규모 언어 모델(LLM)의 무작위성을 조정하는 것입니다. 두 경우 모두, 온도 스케일링은 가장 널리 사용되는 방법입니다. 그럼에도 불구하고, 온도 스케일링의 특성에 대한 엄격한 이론적 분석은 여전히 부족합니다. 본 연구에서는 이러한 특성 중 일부를 조사합니다. 분류 문제에서, 온도를 증가시키면 모델의 불확실성이 매우 일반적인 의미에서 증가하며, 특히 엔트로피가 증가함을 보여줍니다. 그러나 LLM의 경우, 온도를 증가시키면 다양성이 증가한다는 일반적인 주장에 대해 반박합니다. 또한, 온도 스케일링의 두 가지 새로운 해석을 제시합니다. 첫 번째는 기하학적인 해석으로, 온도 조절된 모델이 원래 모델의 주어진 엔트로피를 갖는 모델 집합에 대한 정보 투영임을 보여줍니다. 두 번째 해석은 온도 스케일링이 행렬 스케일링 및 디리클레 교정과 같은 더 일반적인 선형 스케일러의 하위 모델로서의 역할을 명확히 합니다. 우리는 온도 스케일링이 모델의 예측 결과를 변경하지 않는 유일한 선형 스케일러임을 보여줍니다.

Temperature scaling is a simple method that allows to control the uncertainty of probabilistic models. It is mostly used in two contexts: improving the calibration of classifiers and tuning the stochasticity of large language models (LLMs). In both cases, temperature scaling is the most popular method for the job. Despite its popularity, a rigorous theoretical analysis of the properties of temperature scaling has remained elusive. We investigate here some of these properties. For classification, we show that increasing the temperature increases the uncertainty in the model in a very general sense (and in particular increases its entropy). However, for LLMs, we challenge the common claim that increasing temperature increases diversity. Furthermore, we introduce two new characterisations of temperature scaling. The first one is geometric: the tempered model is shown to be the information projection of the original model onto the set of models with a given entropy. The second characterisation clarifies the role of temperature scaling as a submodel of more general linear scalers such as matrix scaling and Dirichlet calibration: we show that temperature scaling is the only linear scaler that does not change the hard predictions of the model.