스트리밍 연속 학습에 대한 실용적인 가이드

A Practical Guide to Streaming Continual Learning

연속 학습(CL)과 스트리밍 머신러닝(SML)은 에이전트가 비정상적인 데이터 스트림에서 학습하는 능력을 연구하는 분야입니다. 두 분야는 일부 유사점을 공유하지만, 서로 다른 보완적인 과제를 다룹니다. SML은 변화(개념 드리프트) 이후의 빠른 적응에 초점을 맞추는 반면, CL은 새로운 작업을 학습할 때 과거 지식을 유지하는 것을 목표로 합니다. 본 논문에서는 CL과 SML에 대한 간략한 소개를 제공한 후, 실용적인 문제에 대한 통합적인 해결책을 제공하는 새로운 패러다임인 스트리밍 연속 학습(SCL)에 대해 논의합니다. SCL은 SML과 CL의 능력이 모두 필요한 실제 문제를 해결할 수 있습니다. 우리는 SCL이 i) CL과 SML 커뮤니티를 연결하여 동일한 목표를 향한 연구를 촉진하고, ii) SML과 같이 새로운 정보에 빠르게 적응하면서 동시에 CL과 같이 이전 지식을 잊지 않는 하이브리드 접근 방식의 설계에 기여할 수 있다고 주장합니다. 본 논문은 동기 부여가 되는 예시와 실험을 통해 결론을 맺으며, CL과 SML만으로는 빠른 적응과 지식 보존을 달성하는 데 어려움이 있음을 보여줌으로써 SCL의 필요성을 강조합니다.

Continual Learning (CL) and Streaming Machine Learning (SML) study the ability of agents to learn from a stream of non-stationary data. Despite sharing some similarities, they address different and complementary challenges. While SML focuses on rapid adaptation after changes (concept drifts), CL aims to retain past knowledge when learning new tasks. After a brief introduction to CL and SML, we discuss Streaming Continual Learning (SCL), an emerging paradigm providing a unifying solution to real-world problems, which may require both SML and CL abilities. We claim that SCL can i) connect the CL and SML communities, motivating their work towards the same goal, and ii) foster the design of hybrid approaches that can quickly adapt to new information (as in SML) without forgetting previous knowledge (as in CL). We conclude the paper with a motivating example and a set of experiments, highlighting the need for SCL by showing how CL and SML alone struggle in achieving rapid adaptation and knowledge retention.