교사 지도 변분 오토인코더에서 상수 붕괴를 검증 가능한 방식으로 평가하는 방법

A Testable Certificate for Constant Collapse in Teacher-Guided VAEs

변분 오토인코더에서 발생하는 후류 붕괴는 종종 작은 KL 항, 강력한 디코더 또는 약한 잠재 코드 활용 등의 증상으로 진단됩니다. 이러한 신호는 유용하지만, 붕괴 경계를 명확하게 정의하지는 않습니다. 본 연구에서는 입력에 독립적인 상수 붕괴라는 구체적인 실패 방식을 분석하고, 이 경우 정확한 임계값을 제시합니다. 특정하지 않은 교사 분포 T(⋅|x)가 주어졌을 때, 최적의 상수 학습 모델은 데이터셋 평균의 교사 분포이며, 이 분포와의 정렬 비용은 교사 상호 정보량 IT(X;T)입니다. 따라서, 엄격하게 잠재 코드만 사용하는 모델이 정렬 손실이 이 값보다 작고 안전 마진이 있을 경우, 해당 모델은 입력에 따라 값이 변하는(상수적이지 않은) 모델이 아닙니다. 이러한 관계는 질적인 실패 방식을 정량적으로 측정할 수 있도록 합니다. CIFAR-100 데이터셋에 대한 실험에서, 각 시드마다 교사 모델을 탐색하는 과정에서 전체 훈련 과정은 검증된 경계의 안전 영역에 머물렀습니다. 정렬을 제거하면 원시 모델이 상수 모델 영역으로 이동하고, 정렬을 활성화하여 붕괴된 시점에서 다시 시작하면 검증 결과가 복구됩니다. Tiny-ImageNet-200 데이터셋에 대한 고정 목표 실험에서도 세 개의 독립적으로 탐색된 교사 모델에 대해 동일한 예방-붕괴-복구 패턴이 나타났습니다. 표준 VAE 방식의 기준 모델, 재구성 품질을 유지하거나 사후 예측 가능성을 높이는 방법 등은 원시 검증 기준 하에서 여전히 실패하는 것으로 나타났습니다. 이 검증은 의도적으로 좁은 범위를 가지며, 특정하지 않은 교사 모델과 비교하여 잠재 경로를 통해 변동이 발생하는 경우에만 유효하며, 모든 형태의 후류 붕괴를 배제한다는 것을 의미하지 않습니다.

Posterior collapse in variational autoencoders is often diagnosed by its symptoms: a small KL term, a strong decoder, or weak use of the latent code. These signals are useful, but they do not define a collapse boundary. We study a concrete failure mode, input-independent constant collapse, and show that this case admits an exact threshold. For any fixed nonconstant teacher distribution \(T(\cdot\mid x)\), the best constant student is the dataset-average teacher distribution, and its alignment cost is the teacher mutual information \(I_T(X;T)\). Therefore, if a strictly latent-only raw witness achieves alignment loss below this value, with a safety margin, the witness cannot be constant in the input. This identity turns a qualitative failure mode into a measurable one. In CIFAR-100 experiments with per-seed teacher search, full training stays on the certified side of the boundary, removing alignment drives the raw witness into the constant-student regime, and restarting from a collapsed checkpoint with alignment enabled restores the certificate. Tiny-ImageNet-200 fixed-target runs show the same prevention--collapse--rescue pattern across three independently searched teachers. Standard VAE-style baselines, including methods that preserve reconstruction quality or post-hoc predictability, remain negative under the raw certificate. The guarantee is intentionally narrow: it certifies that the matched nonconstant teacher-relative variation passes through the latent pathway, rather than claiming that all forms of posterior collapse have been ruled out.