SIGReg 목표 함수를 변분 자유 에너지로: JEPA 월드 모델에 대한 이론적 활성 추론 설명

The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

조인트 임베딩 예측 아키텍처(JEPA)는 잠재 공간 모델의 주류 설계 방식이지만, 일반적으로 경험적인 성능보다는 규범적인 원칙에 의해 정당화됩니다. 본 연구에서는 안티-콜랩스 정규화기의 선택이 JEPA의 학습 목표 함수, 즉 예측 손실과 가중치 임베딩 정규화의 조합이 유효한 활성 추론(AIF) 변분 자유 에너지인지 여부를 결정한다고 보여줍니다. 우리는 VICReg, LogDet, PairDist 및 SIGReg을 포함하는 네 가지 비-대조 정규화기를 우선 확률 오차 간격(prior-miscalibration gap)으로 색인화된 엔트로피 추정 계층 구조로 구성하고, 이 간격의 부호가 잠재 엔트로피를 위에서 제한하는지 또는 아래에서 제한하는지에 따라 AIF 놀람 상한이 유지되는지 여부를 결정한다고 보여줍니다. VICReg 및 LogDet은 안전하지 않은 상한이며, PairDist는 안전한 하한이고, SIGReg은 이 간격을 제거합니다. 그런 다음 우리는 대응 정리(correspondence theorem)를 증명했습니다. 표준 고정 잡음 인코더 모델에서 SIGReg이 성공적으로 적용된 경우(등방성 가우시안 임베딩), 이 간격은 사라지고, 목표 함수는 정확한 정보 병목 현상이 되며, 놀람 상한은 유지되고, 잠재 목표 비용은 AIF 실용적 가치의 정확한 근사치를 나타냅니다. 반면 VICReg은 제거할 수 없는 이차 등방성 항을 남깁니다. 우리는 이 대응 관계를 다중 단계 기대 자유 에너지, 앙상블 인식 가치 및 학습 정책 체제로 확장하고, 현재 JEPA 월드 모델이 계산하지 않는 유일한 AIF 항인 상태-인지적 가치(state-epistemic value), 즉 미래 상태 커버리지 신호를 식별합니다. 이러한 예측은 종류의 차이가 있을 뿐 정도의 차이가 아니며, 여기서는 이론적인 결과로 제시되며, 별도의 연구에서 경험적으로 검증될 것입니다. 전체 증명은 부록 A에 있으며, 모든 결과의 대수적 핵심 부분은 Lean 4 (부록 D)를 사용하여 기계적으로 검증되었습니다.

Joint-Embedding Predictive Architectures (JEPAs) are the dominant design for latent world models, yet they are usually justified by empirical performance rather than a normative principle. We show that the choice of anti-collapse regulariser determines whether a JEPA's training objective, a prediction loss plus a weighted embedding regulariser, is a valid Active Inference (AIF) variational free energy. We organise four non-contrastive regularisers (VICReg, LogDet, PairDist, and SIGReg) into an entropy-estimator hierarchy indexed by a prior-miscalibration gap, and show that the gap's sign, whether the estimator bounds the latent entropy from above or below, decides whether the AIF surprise bound survives: VICReg and LogDet are unsafe upper bounds, PairDist a safe lower bound, and SIGReg eliminates the gap. We then prove a correspondence theorem: under the standard constant-noise encoder model and successful SIGReg enforcement (isotropic-Gaussian embeddings), the gap vanishes, the objective becomes an exact information bottleneck, the surprise bound is preserved, and the latent goal cost becomes an exact proxy for AIF pragmatic value, whereas VICReg leaves an irreducible second-order anisotropy term. We extend the correspondence to multi-step expected free energy, ensemble epistemic value, and a learned-policy regime, and we identify the one AIF term no current JEPA world model computes: the state-epistemic value, a future-state coverage signal. The predictions differ in kind, not degree, and are stated here as theoretical consequences left for empirical test in separate work; full proofs are in Appendix A, and the algebraic core of every result is machine-verified in Lean 4 (Appendix D).