글로벌 차이점을 넘어: 베이지안 추론에 대한 로컬-매스 관점

Beyond Global Divergences: A Local-Mass Perspective on Bayesian Inference

KL 발산 및 ELBO와 같은 글로벌 목적 함수는 베이지안 추론에서 분포 불일치도를 측정하는 데 널리 사용됩니다. 본 논문에서는 이러한 목적 함수가 직접적으로 반영하지 못하는 로컬-매스의 동작을 연구합니다. 우리는 두 가지 수학적 도구를 소개하고 활용합니다: (1) 로컬 매스의 다항식 및 로그 스케일을 기록하는 '매스 인덱스', 그리고 (2) 특이 성분 존재 하에서 정의될 수 있는, 집합에 국한된 발산인 '정규화 확장 KL(RE-KL)'입니다. 매스 인덱스는 베이지안 업데이트가 로컬 매스에 미치는 영향을 특징짓는 데 도움이 됩니다: (1) 파워-로그 가능도 계수는 이를 명시적으로 변화시키고, (2) 매개변수에 의존적인 지지 영역 또는 그 부드러운 변형은 매개변수 값 근처에 남아 있는 매스의 양을 통해 로컬 스케일을 변경할 수 있습니다. 로컬 RE-KL을 사용하여 두 KL 방향 모두에서 로컬 작은 볼(small-ball) 매스를 비교하는 절대, 상대 및 방향 불평등을 증명합니다. 이러한 결과는 로컬 매스 동작에 대한 로컬 이론적 설명을 제공합니다. 실험을 통해 로컬 동작을 제어된 방식으로 보여줍니다. 코드는 https://github.com/Forsythia0604/Local-Mass-Framework 에서 확인할 수 있습니다.

Global objectives, such as KL divergence and ELBO, are widely used in Bayesian inference for measuring distributional discrepancy. This paper studies their local-mass behaviour that is not directly captured by such objectives. We introduce and use two mathematical tools: (1) Mass Index for recording the polynomial and logarithmic decay scales of local mass, and (2) regularised extended KL (RE-KL), a set-localised divergence that can be formulated in the presence of singular components. Mass Indices help characterise how Bayesian updating changes local mass: (1) power-log likelihood factors shift it explicitly, and (2) parameter-dependent supports, or their smooth softenings, may change the local scale through the amount of mass that remains near the parameter value. Using local RE-KL, we prove absolute, relative, and directional inequalities for comparing local small-ball masses under the two KL directions. Together, these results provide a local theoretical account of local mass behaviour. Experiments provide controlled illustrations of the local behaviour. Code is available at https://github.com/Forsythia0604/Local-Mass-Framework.