뇌가 기억을 통합하는 이유: 최적의 일반화를 위한 예측적 망각

Why the Brain Consolidates: Predictive Forgetting for Optimal Generalisation

기존의 기억 통합 이론은 저장된 표현의 안정화에 초점을 맞추지만, 표현의 변화, 의미화, 그리고 오프라인 재활용의 필요성을 설명하는 데 어려움을 겪습니다. 본 연구에서는 고용량의 피질 신경망이 예측적 망각, 즉 미래의 결과나 경험을 예측하는 경험 정보를 선택적으로 유지함으로써 저장된 표현을 일반화에 최적화한다고 제안합니다. 예측적 망각은 저장된 표현에 대한 정보 이론적 일반화 경계를 공식적으로 향상시킨다는 것을 보여줍니다. 높은 충실도의 인코딩 제약 조건 하에서, 이러한 압축은 일반적으로 단일 단계로는 달성할 수 없기 때문에, 고용량 신경망은 저장된 흔적을 반복적으로 개선하는 데 있어 시간적으로 분리된 접근 방식을 통해 감각 입력에 대한 재접근 없이 이점을 얻습니다. 우리는 오토인코더 기반의 피질 모델, 생물학적으로 타당한 예측 코딩 회로, 그리고 트랜스포머 기반의 언어 모델을 사용한 시뮬레이션을 통해 이러한 능력 의존성을 입증하고, 통합에 의존하는 신경 표현의 기하학적 변화에 대한 정량적 예측을 도출합니다. 이러한 결과는 안정화 외에도 오프라인 통합의 계산적 역할을 밝히며, 결과에 조건화된 압축이 유지-일반화 균형을 최적화한다는 것을 보여줍니다.

Standard accounts of memory consolidation emphasise the stabilisation of stored representations, but struggle to explain representational drift, semanticisation, or the necessity of offline replay. Here we propose that high-capacity neocortical networks optimise stored representations for generalisation by reducing complexity via predictive forgetting, i.e. the selective retention of experienced information that predicts future outcomes or experience. We show that predictive forgetting formally improves information-theoretic generalisation bounds on stored representations. Under high-fidelity encoding constraints, such compression is generally unattainable in a single pass; high-capacity networks therefore benefit from temporally separated, iterative refinement of stored traces without re-accessing sensory input. We demonstrate this capacity dependence with simulations in autoencoder-based neocortical models, biologically plausible predictive coding circuits, and Transformer-based language models, and derive quantitative predictions for consolidation-dependent changes in neural representational geometry. These results identify a computational role for off-line consolidation beyond stabilisation, showing that outcome-conditioned compression optimises the retention-generalisation trade-off.