Dream2Learn: 지속적인 학습을 위한 구조화된 생성적 꿈 활용

Dream2Learn: Structured Generative Dreaming for Continual Learning

지속적인 학습은 가소성과 안정성을 균형 있게 유지하면서 재앙적 망각을 완화해야 합니다. 인간의 꿈이 내부 시뮬레이션 및 지식 재구성을 위한 메커니즘으로 작용한다는 점에 착안하여, 우리는 Dream2Learn (D2L)이라는 프레임워크를 제안합니다. D2L은 모델이 자체 내부 표현에서 구조화된 합성 경험을 자율적으로 생성하고, 이를 자체 개선에 활용합니다. 생성적 재생과 달리, D2L은 분류기가 새로운, 의미적으로 구별되는 '꿈' 클래스를 생성하도록 합니다. 이 꿈 클래스는 학습된 지식과 일관성을 유지하지만, 이전에 관찰된 데이터와는 상응하지 않습니다. 이러한 꿈 샘플은 분류기에 의해 제어되는 소프트 프롬프트 최적화를 통해 동결된 확산 모델을 사용하여 생성됩니다. 생성된 데이터는 메모리를 대체하는 데 사용되지 않고, 대신 표현 공간을 확장하고 재구성하여, 네트워크가 자체적으로 내부적으로 생성된 개념에 대해 자체 훈련을 수행할 수 있도록 합니다. D2L은 꿈 클래스를 지속적인 훈련에 통합하여 잠재적 특징을 능동적으로 구조화하고, 미래 작업에 대한 지식 전달 및 적응을 지원합니다. 이러한 사전 자체 훈련 메커니즘은 수면이 기억을 통합하고 재구성하는 데서 얻는 영감을 받아, 내부 시뮬레이션을 일반화 성능 향상을 위한 도구로 활용합니다. Mini-ImageNet, FG-ImageNet 및 ImageNet-R 데이터 세트에서 수행한 실험 결과, D2L은 강력한 재생 기반 모델보다 우수한 성능을 보이며, 긍정적인 지식 전달을 달성하여, 내부적으로 생성된 훈련 신호를 통해 적응성을 향상시키는 능력을 입증했습니다.

Continual learning requires balancing plasticity and stability while mitigating catastrophic forgetting. Inspired by human dreaming as a mechanism for internal simulation and knowledge restructuring, we introduce Dream2Learn (D2L), a framework in which a model autonomously generates structured synthetic experiences from its own internal representations and uses them for self-improvement. Rather than reconstructing past data as in generative replay, D2L enables a classifier to create novel, semantically distinct dreamed classes that are coherent with its learned knowledge yet do not correspond to previously observed data. These dreamed samples are produced by conditioning a frozen diffusion model through soft prompt optimization driven by the classifier itself. The generated data are not used to replace memory, but to expand and reorganize the representation space, effectively allowing the network to self-train on internally synthesized concepts. By integrating dreamed classes into continual training, D2L proactively structures latent features to support forward knowledge transfer and adaptation to future tasks. This prospective self-training mechanism mirrors the role of sleep in consolidating and reorganizing memory, turning internal simulations into a tool for improved generalization. Experiments on Mini-ImageNet, FG-ImageNet, and ImageNet-R demonstrate that D2L consistently outperforms strong rehearsal-based baselines and achieves positive forward transfer, confirming its ability to enhance adaptability through internally generated training signals.