베이지안 심층 학습에서 보정된 샘플링-프리 불확실성 추정

Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning

현대적인 심층 학습 모델은 여전히 과도한 확신을 보이는 경향이 있으며, 이는 고위험 분야에서의 신뢰성을 저해합니다. 베이지안 방법론은 모델 파라미터에 대한 분포를 학습하여 이러한 문제를 해결하고자 하며, 최근의 발전으로 인해 대규모 아키텍처에서도 AdamW와 유사한 비용으로 구현 가능하게 되었습니다. 그러나 테스트 단계에서 여전히 과제가 남아 있습니다. 예측은 사후 분포에서 샘플링된 가중치를 사용하여 여러 번의 순전파를 통해 평균해야 하는데, 이는 매우 비효율적입니다. 분산 전파는 효율적인 대안을 제공하며, 단일 순전파 과정에서 레이어별로 불확실성에 대한 분석적인 근사값을 계산합니다. 이러한 기술은 다층 퍼셉트론(MLP)에서는 효과적이지만, 깊이와 다양한 레이어 유형의 증가로 인해 현대 아키텍처로 확장하는 데 어려움이 있습니다. 이러한 격차를 해소하기 위해, 당사는 정규화 레이어에 대한 새로운 전파 방법을 도입하고, 활성화 함수 처리를 위한 최근 기술과 결합하며, 경미한 보정 단계를 통해 잔여 오류를 흡수하는 Calibrated Variance Propagation (CVP)을 제안합니다. CVP는 트랜스포머 및 CNN에서 몬테카를로 샘플링(MC sampling)만큼 정확한 불확실성 추정치를 제공하지만, 비용은 훨씬 적습니다. 기존의 분산 전파 연구에 비해, CVP는 Visual Reasoning (NLVR2) 데이터셋에서 BEiT-3 모델을 사용하여 0.5% 위험 수준에서의 커버리지를 8.2%에서 14.6%로 개선하고, VQAv2 데이터셋에서 ViLT 모델을 사용하여 2.6%에서 10.8%로 개선하며, 이러한 이점은 컨볼루션 아키텍처에서도 나타납니다.

Modern deep learning models remain notoriously prone to overconfidence, limiting their reliability in high-stakes applications. Bayesian methods aim to counter this by learning a distribution over model parameters, and recent advances now make this feasible for large-scale architectures at costs comparable to AdamW. However, a challenge remains at test time: predictions must be averaged across many forward passes with weights sampled from the posterior, which is prohibitively expensive. Variance propagation offers an efficient alternative, computing layer-wise analytical approximations of uncertainty in a single forward pass. While such techniques are effective for MLPs, their extension to modern architectures remains challenging, due to increased depth and diversity of layer types. To fill this gap, we propose Calibrated Variance Propagation (CVP), which introduces a new propagation method for normalization layers, combines it with recent techniques for handling activation functions, and absorbs residual error through a light calibration step. CVP yields comparably accurate uncertainty estimates to MC sampling across transformers and CNNs, at a fraction of the cost. Against prior variance propagation work, CVP improves coverage at $0.5\%$ risk from $8.2\%$ to $14.6\%$ with BEiT-3 on Visual Reasoning (NLVR2) and from $2.6\%$ to $10.8\%$ with ViLT on VQAv2, with gains extending to convolutional architectures.