cPNN: 진화하는 스트리밍 시계열 데이터에 대한 연속적 점진적 신경망

cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series

무한한 데이터 스트림을 처리하는 것은 데이터가 동일하게 분포되어 있고 독립적이라는 가정에서 벗어나는 것을 의미합니다. 데이터 스트림은 실제로 시간적 의존성을 가질 수 있으며 (즉, 시계열 데이터), 데이터의 분포는 시간이 지남에 따라 변할 수 있습니다 (개념 변화). 이러한 두 가지 문제는 깊이 논의되어 왔으며, 기존의 솔루션들은 이들을 개별적으로 다룹니다. 즉, 이 두 문제를 동시에 해결하는 방법은 존재하지 않습니다. 또한, 여러 개념을 학습한다는 것은 과거를 기억하는 것을 의미합니다 (신경망 용어로, 파국적인 망각을 피하는 것). 본 연구에서는 이러한 문제들을 해결하기 위한 연속적 점진적 신경망 (cPNN)을 제안합니다. cPNN은 이전 개념을 기억하고 과거 지식을 활용하여 새로운 개념에 빠르게 적응할 수 있도록 설계된 점진적 신경망의 연속적인 버전입니다. 본 연구는 순환 신경망을 기반으로 하며, 시간적 의존성을 가진 데이터 스트림에 대해 확률적 경사 하강법을 적용합니다. 제거 실험 결과는 cPNN이 새로운 개념에 빠르게 적응하고, 데이터 분포 변화에 강인함을 보여줍니다.

Dealing with an unbounded data stream involves overcoming the assumption that data is identically distributed and independent. A data stream can, in fact, exhibit temporal dependencies (i.e., be a time series), and data can change distribution over time (concept drift). The two problems are deeply discussed, and existing solutions address them separately: a joint solution is absent. In addition, learning multiple concepts implies remembering the past (a.k.a. avoiding catastrophic forgetting in Neural Networks' terminology). This work proposes Continuous Progressive Neural Networks (cPNN), a solution that tames concept drifts, handles temporal dependencies, and bypasses catastrophic forgetting. cPNN is a continuous version of Progressive Neural Networks, a methodology for remembering old concepts and transferring past knowledge to fit the new concepts quickly. We base our method on Recurrent Neural Networks and exploit the Stochastic Gradient Descent applied to data streams with temporal dependencies. Results of an ablation study show a quick adaptation of cPNN to new concepts and robustness to drifts.