분노를 뒤돌아보지 마세요: 시계열 의존성을 갖는 스트리밍 연속 학습을 위한 MAGIC Net

Don't Look Back in Anger: MAGIC Net for Streaming Continual Learning with Temporal Dependence

데이터 스트림에서 학습할 때 개념 변화, 시계열 의존성, 그리고 재앙적 망각은 주요 과제를 야기합니다. 스트리밍 머신러닝과 연속 학습(CL)은 이러한 문제들을 개별적으로 해결하려고 시도하며, 최근의 스트리밍 연속 학습(SCL) 연구는 이들을 통합하고자 노력하고 있습니다. 본 연구에서는 시계열 의존성을 제어하기 위해 CL에서 영감을 받은 아키텍처 전략과 순환 신경망을 통합한 새로운 SCL 접근 방식인 MAGIC Net을 소개합니다. MAGIC Net은 지속적으로 학습하며, 동결된 가중치에 학습 가능한 마스크를 적용하여 과거 지식을 참조하고, 필요에 따라 아키텍처를 확장합니다. 모든 연산을 실시간으로 수행하여 항상 추론이 가능하도록 합니다. 합성 데이터와 실제 데이터 스트림에 대한 실험 결과, MAGIC Net은 새로운 개념에 대한 적응력을 향상시키고, 메모리 사용량을 제한하며, 망각을 완화하는 것으로 나타났습니다.

Concept drift, temporal dependence, and catastrophic forgetting represent major challenges when learning from data streams. While Streaming Machine Learning and Continual Learning (CL) address these issues separately, recent efforts in Streaming Continual Learning (SCL) aim to unify them. In this work, we introduce MAGIC Net, a novel SCL approach that integrates CL-inspired architectural strategies with recurrent neural networks to tame temporal dependence. MAGIC Net continuously learns, looks back at past knowledge by applying learnable masks over frozen weights, and expands its architecture when necessary. It performs all operations online, ensuring inference availability at all times. Experiments on synthetic and real-world streams show that it improves adaptation to new concepts, limits memory usage, and mitigates forgetting.