베이지안 게이티드 비음수 대비 학습

Bayesian Gated Non-Negative Contrastive Learning

대비 학습(Contrastive Learning, CL)은 자기 지도 표현 학습 분야에 혁신을 가져왔지만, 그 잠재적인 표현은 여전히 복잡하고 불투명하여 안전이 중요한 응용 분야에서 해석 가능성을 제한합니다. 우리는 이러한 복잡성의 근본 원인이 결정론적 유사성 측정 방식에 있다는 것을 확인했습니다. 이 방식은 모든 특징 차원을 동일하게 취급합니다. 합성 장면에서는, '푸른 하늘'과 같은 일반적인 배경 특징이 긍정 쌍에서는 정렬되도록 장려받는 반면, 동시에 부정 쌍에서는 밀어내어져 기울기 진동을 일으키고 정확한 의미 분리를 방해합니다. 이를 해결하기 위해, 우리는 베이지안 게이티드 비음수 대비 학습(BayesNCL)을 제안합니다. 표준 접근 방식과 달리, BayesNCL은 확률적 게이팅 메커니즘을 도입하여 작업과 관련 없는 고주파 일반 특징을 동적으로 필터링하고 선택적으로 차별적인 의미를 유지합니다. 우리는 특징 선택을 희소 베르누이 사전 분포를 갖는 변분 추론 문제로 공식화함으로써, 본 방법은 최적화 충돌을 효과적으로 해결합니다. ImageNet-100 데이터셋에 대한 실험 결과는 BayesNCL이 최첨단 기준 모델보다 142.1% 향상된 의미 일관성을 달성하며, 다운스트림 작업 성능을 저하시키지 않고도 매우 해석 가능한 표현을 제공한다는 것을 보여줍니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/Cui-Peng-624/BayesNCL.

While Contrastive Learning (CL) has revolutionized self-supervised representation learning, its latent representations remain highly entangled and opaque, limiting their interpretability in safety-critical applications. We identify that a fundamental cause of this entanglement is the reliance on deterministic similarity measures, which treat all feature dimensions equally. In compositional scenes, this creates an Optimization Conflict: common background features, such as, "blue sky", are encouraged to align in positive pairs but simultaneously repelled in negative pairs, causing gradient oscillations that hinder precise semantic disentanglement. To address this, we propose BayesNCL (Bayesian Gated Non-Negative Contrastive Learning). Unlike standard approaches, BayesNCL introduces a probabilistic gating mechanism that dynamically filters out task-irrelevant, high-frequency common features while selectively retaining discriminative semantics. By formalizing feature selection as a variational inference problem with a sparse Bernoulli prior, our method effectively resolves the optimization conflict. Empirical experimental results on Imagenet-100 demonstrate that BayesNCL achieves a remarkable 142.1% improvement in semantic consistency compared to state-of-the-art baselines, yielding highly interpretable representations without compromising downstream task performance. Code is available at https://github.com/Cui-Peng-624/BayesNCL.