최적화 알고리즘에서 파생된 기하학을 활용한 사후 분포 탐색 가이드

Guiding Posterior Exploration with Optimizer-Derived Geometry

샘플링 기반 방법은 베이지안 신경망에서의 불확실성 정량화에 대한 체계적인 접근 방식을 제공합니다. 그러나 이러한 방법의 실제 적용은 종종 고차원적이고 다중 모드를 갖는 사후 분포를 탐색하는 데 필요한 높은 계산 비용 때문에 어려움을 겪습니다. 이러한 어려움을 극복하기 위해, 베이지안 딥 앙상블(Bayesian Deep Ensembles), 즉 여러 최적화된 솔루션에서 샘플링을 시작하는 방식은 효과적인 전략으로 입증되었습니다. 본 논문에서는 AdamW와 같은 적응형 최적화 알고리즘의 warmstart 과정에서 부산물로 생성되는 곡률 추정치가 추가적인 계산 비용 없이 샘플링 단계에 유용한 정보를 제공할 수 있음을 보여줍니다. 특히, 저희가 제안하는 최적화 알고리즘에서 파생된 기하학을 기반으로 하는 사전 조건부 샘플링 전략은 긴 샘플링 초기화 단계를 크게 줄이거나 제거할 수 있으며, 더 높은 수치적 안정성을 가져다줍니다. 이러한 접근 방식은 추가적인 계산 비용 없이 예측 성능과 불확실성 정량화를 유지하거나 향상시킵니다. 저희는 다양한 데이터 세트와 네트워크 아키텍처에 걸쳐 우리의 연구 결과가 일관되게 나타남을 확인했습니다.

Sampling-based methods offer a principled approach to uncertainty quantification in Bayesian neural networks. Their practical use, however, is often challenged by the computational cost of exploring high-dimensional and multimodal posterior distributions. To overcome these difficulties, Bayesian Deep Ensembles, i.e., warmstarting the sampling from several optimized solutions, have proven to be an effective strategy. In this paper, we demonstrate that curvature estimates computed during the warmstart as a byproduct in adaptive optimizers such as AdamW can inform the sampling phase at negligible additional cost. Specifically, our proposed preconditioned sampling strategy based on optimizer-derived geometries can substantially reduce or even eliminate the need for a lengthy sampling burn-in phase and leads to greater numerical stability. This approach consistently maintains or improves predictive performance and uncertainty quantification without any additional computational costs. We confirm the consistency of our findings across various datasets and network architectures.