비 로그 볼록 샘플링에서의 분산 감소 기법과 역문제 응용

Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems

고차원 비 로그 볼록 분포에서 정규화되지 않은 밀도를 갖는 데이터 샘플링은 머신 러닝 분야의 근본적인 과제이며, 특히 잠재 함수의 정확한 기울기를 구할 수 없을 때 발생하는 문제로, 각 반복마다 고정된 횟수의 기울기 계산을 통해 이를 근사해야 하지만 이 과정에서 높은 분산이 나타납니다. SGD with momentum, STORM, PAGE와 같은 분산 감소 기법들이 비 볼록 최적화 문제에서 개선된 수렴 속도를 보여주었지만, 이러한 기법들이 비 로그 볼록 분포에서의 샘플링에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 논문에서는 이러한 추정자들을 비 로그 볼록 분포에서의 샘플링에 적용했을 때의 최초의 통일적인 분석을 제시합니다. 우리는 $\epsilon$-상대 피셔 정보와, 푸앙카레 부등식 가정 하에서 제곱 총 변동 거리 측면에서 개선된 비-점근적 수렴률을 확립했으며, 또한 목표 분포로의 약한 수렴을 증명했습니다. 또한, 스코어 기반 생성 사전(score-based generative priors)을 활용하는 역문제 해결에 대한 분석을 확장했습니다. 우리는 이론적인 결과를 실험적으로 검증하고, 각 반복당 고정된 기울기 계산 횟수 하에서 분산 감소 기법들이 두 가지 표준 이미지 처리 응용 분야에서 샘플 품질을 지속적으로 향상시킨다는 것을 보여줍니다.

Sampling from high-dimensional, non-log-concave distributions with unnormalized densities is a fundamental challenge in machine learning, particularly when the exact gradient of the potential is unavailable and must be approximated via stochastic gradients that exhibit high variance under a fixed budget of gradient computations per iteration. Although variance reduction techniques such as SGD with momentum, STORM, and PAGE have demonstrated improved convergence properties in non-convex optimization, their implications for sampling from non-log-concave distributions remain largely unexplored. In this work, we develop the first unified analysis of these estimators for sampling from non-log-concave distributions. We establish improved non-asymptotic convergence rates in $\varepsilon$-relative Fisher information and, under a Poincaré inequality assumption, in squared total variation distance, and further prove weak convergence to the target distribution. We extend our analysis to solving inverse problems with score-based generative priors. We empirically validate our theory and demonstrate that, under a fixed gradient computations per iteration, variance-reduction techniques consistently improve sample quality in two standard imaging applications.