표현 붕괴의 최소 모델: 좌절, 기울기 중단, 그리고 동역학

A Minimal Model of Representation Collapse: Frustration, Stop-Gradient, and Dynamics

자기 지도 학습은 현대 머신러닝의 핵심 기술로서, 레이블이 없는 데이터로부터 구조화된 잠재적 특징을 추출하고, 다양한 작업 및 도메인 간의 강력한 전이 학습을 가능하게 합니다. 그러나 자기 지도 학습은 '표현 붕괴'라는 현상으로 인해 어려움을 겪을 수 있는데, 이는 임베딩이 구별력을 잃고, 서로 다른 입력이 구별 불가능해지는 광범위하게 관찰되는 실패 모드입니다. 붕괴를 유발하는 메커니즘과 붕괴를 방지하는 요인을 이해하기 위해, 우리는 닫힌 형태로 기울기 흐름 동역학과 고정점을 분석할 수 있는 최소 규모의 임베딩 모델을 도입합니다. 이 모델은 분류-표현 설정을 사용하여 붕괴가 레이블-임베딩 기하학의 수축을 통해 직접적으로 정량화되는 구체적인 환경을 제공합니다. 데이터가 완벽하게 분류될 수 있을 때는 모델이 붕괴되지 않지만, 일관되게 분류될 수 없는 작은 비율의 '좌절' 표본들이 초기 성능 향상 이후 발생하는 느린 시간 척도를 통해 붕괴를 유발한다는 것을 보여줍니다. 동일한 프레임워크 내에서, 우리는 공유된 투영 헤드를 추가하고 학습 동역학 수준에서 기울기 중단을 적용하여 붕괴 방지 효과를 조사합니다. 결과적인 고정점을 분석하고, 동역적 평균장 스타일의 자기 일관성 설명을 개발하여, 기울기 중단이 붕괴되지 않는 해를 가능하게 하고, 좌절 상황에서도 유한한 클래스 분리를 안정화한다는 것을 보여줍니다. 또한, 동일한 질적 동역학과 붕괴 방지 효과가 선형 교사-학생 모델에서도 나타난다는 것을 경험적으로 확인하여, 최소 이론이 순수 임베딩 환경을 넘어 지속되는 특징을 포착한다는 것을 시사합니다.

Self-supervised representation learning is central to modern machine learning because it extracts structured latent features from unlabeled data and enables robust transfer across tasks and domains. However, it can suffer from representation collapse, a widely observed failure mode in which embeddings lose discriminative structure and distinct inputs become indistinguishable. To understand the mechanisms that drive collapse and the ingredients that prevent it, we introduce a minimal embedding-only model whose gradient-flow dynamics and fixed points can be analyzed in closed form, using a classification-representation setting as a concrete playground where collapse is directly quantified through the contraction of label-embedding geometry. We illustrate that the model does not collapse when the data are perfectly classifiable, while a small fraction of frustrated samples that cannot be classified consistently induces collapse through an additional slow time scale that follows the early performance gain. Within the same framework, we examine collapse prevention by adding a shared projection head and applying stop-gradient at the level of the training dynamics. We analyze the resulting fixed points and develop a dynamical mean-field style self-consistency description, showing that stop-gradient enables non-collapsed solutions and stabilizes finite class separation under frustration. We further verify empirically that the same qualitative dynamics and collapse-prevention effects appear in a linear teacher-student model, indicating that the minimal theory captures features that persist beyond the pure embedding setting.