역사적 합의: 가우시안 혼합 모델 사전 분포의 반복적 선택을 통한 후방 붕괴 방지

Historical Consensus: Preventing Posterior Collapse via Iterative Selection of Gaussian Mixture Priors

변분 오토인코더(VAE)는 종종 후방 붕괴(posterior collapse) 현상을 겪는데, 이는 잠재 변수가 정보력을 잃고 근사 후방 분포가 사전 분포로 퇴화되는 현상입니다. 최근 연구에서는 이 현상을 데이터 공분산 행렬의 스펙트럼 특성에 의해 결정되는 상전이(phase transition)로 설명했습니다. 본 논문에서는 근본적으로 다른 접근 방식을 제안합니다. 기존 연구처럼 아키텍처 제약이나 하이퍼파라미터 튜닝을 통해 붕괴를 피하는 대신, 가우시안 혼합 모델(GMM) 클러스터링의 다양성을 활용하여 붕괴 가능성을 완전히 제거합니다. 우리는 역사적 합의 학습(Historical Consensus Training)이라는 반복적 선택 절차를 도입합니다. 이 절차는 교차 최적화 및 선택을 통해 후보 GMM 사전 분포 집합을 점진적으로 개선합니다. 핵심 아이디어는 여러 개의 서로 다른 클러스터링 제약을 만족하도록 학습된 모델은 '역사적 장벽(historical barrier)'이라는 파라미터 공간 영역을 형성한다는 것입니다. 이 영역은 이후 단일 목적 함수로 학습을 진행하더라도 안정적으로 유지됩니다. 우리는 이 장벽이 붕괴된 해를 배제한다는 것을 증명하고, 합성 및 실제 데이터 세트에 대한 광범위한 실험을 통해 제안하는 방법이 디코더 분산 또는 정규화 강도에 관계없이 붕괴되지 않은 표현을 달성한다는 것을 보여줍니다. 우리의 접근 방식은 명시적인 안정성 조건(예: $σ^{ ing{2}} < λ_{max}$)을 요구하지 않으며, 임의의 신경망 아키텍처와 함께 사용할 수 있습니다. 코드는 https://github.com/tsegoochang/historical-consensus-vae 에서 확인할 수 있습니다.

Variational autoencoders (VAEs) frequently suffer from posterior collapse, where latent variables become uninformative and the approximate posterior degenerates to the prior. Recent work has characterized this phenomenon as a phase transition governed by the spectral properties of the data covariance matrix. In this paper, we propose a fundamentally different approach: instead of avoiding collapse through architectural constraints or hyperparameter tuning, we eliminate the possibility of collapse altogether by leveraging the multiplicity of Gaussian mixture model (GMM) clusterings. We introduce Historical Consensus Training, an iterative selection procedure that progressively refines a set of candidate GMM priors through alternating optimization and selection. The key insight is that models trained to satisfy multiple distinct clustering constraints develop a historical barrier -- a region in parameter space that remains stable even when subsequently trained with a single objective. We prove that this barrier excludes the collapsed solution, and demonstrate through extensive experiments on synthetic and real-world datasets that our method achieves non-collapsed representations regardless of decoder variance or regularization strength. Our approach requires no explicit stability conditions (e.g., $σ^{\prime 2} < λ_{\max}$) and works with arbitrary neural architectures. The code is available at https://github.com/tsegoochang/historical-consensus-vae.