능동적 지각과 분리된 표현은 지속적이고 일화적인 제로샷 및 퓨샷 학습을 가능하게 한다

Active perception and disentangled representations allow continual, episodic zero and few-shot learning

일반화는 흔히 기계 학습 시스템의 필수적인 특성으로 간주된다. 그러나 시스템의 모든 구성 요소가 반드시 일반화되어야 하는 것은 아닐 수도 있다. 일반화를 목표로 모델을 훈련하면 일반적으로 개체나 클래스의 경계에서 얽힌 표현이 생성되는데, 이는 지속적 학습이나 퓨샷 학습을 위해 빠르고 대규모의 업데이트가 필요할 때 파괴적 간섭을 초래할 수 있다. 간섭 없는 표현을 통한 빠른 학습 기법들이 존재하지만, 이들은 대체로 일반화에 실패한다. 본 논문에서는 빠른 학습기가 지속적인 제로샷 및 퓨샷 학습을 수행하는 대신 일반화를 완전히 포기하는 보완적 학습 시스템(Complementary Learning System, CLS)을 설명한다. 일화적 기억을 주로 재생과 통합에 사용하는 대부분의 CLS 접근법과 달리, 본 논문의 빠르고 분리된 학습기는 병렬 추론 시스템으로 작동한다. 빠른 학습기는 능동적 지각 시스템 내에서 기존의 느린 통계적 학습기를 활용함으로써 관측의 가변성과 불확실성을 극복할 수 있다. 빠른 학습기가 제공하는 문맥적 편향은 느린 학습기가 새로운 자극을 친숙하고 일반화된 형태로 인코딩하도록 유도하여 제로샷 및 퓨샷 학습을 가능하게 한다. 이러한 아키텍처는 빠르고 문맥 주도적인 추론이 느리고 구조화된 일반화와 공존할 수 있음을 입증하며, 견고한 지속적 학습을 위한 경로를 제공한다.

Generalization is often regarded as an essential property of machine learning systems. However, perhaps not every component of a system needs to generalize. Training models for generalization typically produces entangled representations at the boundaries of entities or classes, which can lead to destructive interference when rapid, high-magnitude updates are required for continual or few-shot learning. Techniques for fast learning with non-interfering representations exist, but they generally fail to generalize. Here, we describe a Complementary Learning System (CLS) in which the fast learner entirely foregoes generalization in exchange for continual zero-shot and few-shot learning. Unlike most CLS approaches, which use episodic memory primarily for replay and consolidation, our fast, disentangled learner operates as a parallel reasoning system. The fast learner can overcome observation variability and uncertainty by leveraging a conventional slow, statistical learner within an active perception system: A contextual bias provided by the fast learner induces the slow learner to encode novel stimuli in familiar, generalized terms, enabling zero-shot and few-shot learning. This architecture demonstrates that fast, context-driven reasoning can coexist with slow, structured generalization, providing a pathway for robust continual learning.