Social-JEPA: 자연 발생하는 기하학적 동형 이성질체

Social-JEPA: Emergent Geometric Isomorphism

세계 모델은 풍부한 감각 정보를 압축하여 미래 관찰을 예측하는 간결한 잠재 변수 코드로 변환합니다. 본 연구에서는 별도의 에이전트들이 동일한 환경에 대한 서로 다른 관점에서 이러한 모델을 학습하도록 합니다. 이때 파라미터 공유나 조정 없이, 학습된 내부 표현은 놀라운 자연 발생적 특성을 보입니다. 즉, 두 개의 잠재 공간은 대략적인 선형 동형 이성질체 관계를 가지며, 이를 통해 투명한 변환이 가능합니다. 이러한 기하학적 합의는 큰 시점 변화와 제한적인 픽셀 중복에도 견고하게 유지됩니다. 학습된 정렬을 활용하여, 하나의 에이전트에서 학습된 분류기를 추가적인 기울기 업데이트 없이 다른 에이전트로 이전할 수 있으며, 증류와 유사한 방식으로 이전하면 후속 학습 속도를 가속화하고 전체 계산량을 크게 줄일 수 있습니다. 본 연구 결과는 예측 학습 목표가 표현 기하학에 강력한 규칙성을 부여한다는 것을 보여주며, 이는 분산된 시각 시스템 간의 상호 운용성을 위한 가벼운 경로를 제시합니다. 관련 코드는 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/Social-JEPA-5C57.

World models compress rich sensory streams into compact latent codes that anticipate future observations. We let separate agents acquire such models from distinct viewpoints of the same environment without any parameter sharing or coordination. After training, their internal representations exhibit a striking emergent property: the two latent spaces are related by an approximate linear isometry, enabling transparent translation between them. This geometric consensus survives large viewpoint shifts and scant overlap in raw pixels. Leveraging the learned alignment, a classifier trained on one agent can be ported to the other with no additional gradient steps, while distillation-like migration accelerates later learning and markedly reduces total compute. The findings reveal that predictive learning objectives impose strong regularities on representation geometry, suggesting a lightweight path to interoperability among decentralized vision systems. The code is available at https://anonymous.4open.science/r/Social-JEPA-5C57.