심층 학습을 위한 가능론적 예측 불확실성

Possibilistic Predictive Uncertainty for Deep Learning

심층 신경망은 다양한 분야에서 뛰어난 성능을 보이지만, 새로운 입력에 대한 과도한 확신은 신뢰할 수 있는 인식론적 불확실성 모델링의 필요성을 야기합니다. 기존의 불확실성 모델링 방법은 근본적인 딜레마에 직면합니다. 베이지안 방법은 원칙적인 추정을 제공하지만 계산적으로 매우 부담스럽고, 효율적인 2차 예측 방법은 특정 목표가 인식론적 불확실성 정량화와 어떻게 연결되는지에 대한 엄격한 유도가 부족합니다. 이러한 딜레마를 해결하기 위해, 가능성 이론을 활용하는 체계적인 프레임워크인 디리클레 근사 가능론적 사후 예측(DAPPr)을 소개합니다. 우리는 매개변수에 대한 가능론적 사후 분포를 정의하고, 최댓값 연산자를 통해 이 사후 분포를 예측 공간으로 투영하며, 학습 가능한 디리클레 가능성 함수를 사용하여 투영된 사후 분포를 근사합니다. 이러한 투영 및 근사 전략은 간단한 학습 목표를 제공하며, 닫힌 형태의 해를 갖습니다. 다양한 벤치마크에 대한 광범위한 실험 결과, 우리 방법은 최첨단 증거 기반 심층 학습 방법과 비교하여 경쟁력 있는 또는 더 우수한 불확실성 정량화 성능을 달성하며, 동시에 원칙적인 유도와 계산 효율성을 모두 유지합니다. 코드는 https://github.com/MaxwellYaoNi/DAPPr 에서 제공됩니다.

Deep neural networks achieve impressive results across diverse applications, yet their overconfidence on unseen inputs necessitates reliable epistemic uncertainty modelling. Existing methods for uncertainty modelling face a fundamental dilemma: Bayesian approaches provide principled estimates but remain computationally prohibitive, while efficient second-order predictors lack rigorous derivations connecting their specific objectives to epistemic uncertainty quantification. To resolve this dilemma, we introduce Dirichlet-approximated possibilistic posterior predictions (DAPPr), a principled framework leveraging possibility theory. We define a possibilistic posterior over parameters, projects this posterior to the prediction space via supremum operators, and approximates the projected posterior using learnable Dirichlet possibility functions. This projection-and-approximation strategy yields a simple training objective with closed-form solutions. Extensive experiments across diverse benchmarks demonstrate that our approach achieves competitive or superior uncertainty quantification performance compared to state-of-the-art evidential deep learning methods while maintaining both principled derivation and computational efficiency. Code will be available at https://github.com/MaxwellYaoNi/DAPPr.