경사도 정규화 기반 효율적인 불확실성 정량화 방법론: 등방성 접근

An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

신경망에서 예측 불확실성을 정량화하는 기존 방법들은 대규모 언어 모델의 경우 계산적으로 비효율적이거나, 일반적으로 접근하기 어려운 학습 데이터를 필요로 합니다. 본 연구에서는 두 가지 근사를 통해 경량화된 대안을 제시합니다. 첫째, 예측의 불확실성을 예측의 경사와 파라미터 공분산 항으로 표현하는 1차 테일러 확장을 사용합니다. 둘째, 파라미터 공분산에 대한 등방성 가정을 도입합니다. 이 두 가지를 결합하여, 사전 학습된 모델을 한 번의 순전파-역전파 과정만으로, 표면적인 불확실성을 경사도 제곱 정규화 값으로, 그리고 우연적인 불확실성을 점 예측의 베르누이 분산으로 추정합니다. 우리는 등방성 가정이 학습 데이터가 아닌 데이터로부터 얻은 공분산 추정치가 구조적인 왜곡을 초래하지만, 등방성 공분산은 이러한 왜곡을 피할 수 있다는 점을 보여줌으로써 이 가정을 정당화합니다. 또한, 대규모 네트워크의 스펙트럼 특성에 대한 이론적 결과가 이러한 근사가 대규모에서 유효함을 뒷받침합니다. 합성 문제에 대한 마르코프 체인 몬테카를로 추정치와의 비교 검증 결과, 모델 크기가 커질수록 강한 상관관계를 보이는 것을 확인했습니다. 이후, 이러한 추정치를 사용하여 대규모 언어 모델 기반 질의응답 시스템에서 각 유형의 불확실성이 정답 여부를 예측하는 데 유용한 정보를 제공하는 시점을 조사했습니다. 그 결과, 벤치마크에 따라 불확실성 유형이 서로 다른 영향을 미치는 것을 확인했습니다. 구체적으로, 진실성 충돌이 있는 질문을 포함하는 TruthfulQA 데이터셋에서는 결합된 불확실성 추정치가 가장 높은 평균 AUROC 값을 보였지만, 사실 정보 회수를 평가하는 TriviaQA 데이터셋에서는 무작위 수준에 가까운 성능을 보였습니다. 이는 파라미터 수준의 불확실성이 자기 평가 방법과는 근본적으로 다른 정보를 담고 있음을 시사합니다.

Existing methods for quantifying predictive uncertainty in neural networks are either computationally intractable for large language models or require access to training data that is typically unavailable. We derive a lightweight alternative through two approximations: a first-order Taylor expansion that expresses uncertainty in terms of the gradient of the prediction and the parameter covariance, and an isotropy assumption on the parameter covariance. Together, these yield epistemic uncertainty as the squared gradient norm and aleatoric uncertainty as the Bernoulli variance of the point prediction, from a single forward-backward pass through an unmodified pretrained model. We justify the isotropy assumption by showing that covariance estimates built from non-training data introduce structured distortions that isotropic covariance avoids, and that theoretical results on the spectral properties of large networks support the approximation at scale. Validation against reference Markov Chain Monte Carlo estimates on synthetic problems shows strong correspondence that improves with model size. We then use the estimates to investigate when each uncertainty type carries useful signal for predicting answer correctness in question answering with large language models, revealing a benchmark-dependent divergence: the combined estimate achieves the highest mean AUROC on TruthfulQA, where questions involve genuine conflict between plausible answers, but falls to near chance on TriviaQA's factual recall, suggesting that parameter-level uncertainty captures a fundamentally different signal than self-assessment methods.