LargeMonitor: 대규모 사전 학습 모델을 활용한 온라인 작업 독립적 지속 학습 모니터링

LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models

온라인 작업 독립적 지속 학습(TFCL)은 지능형 에이전트가 엄격한 단일 패스 제약 조건 하에서 명시적인 작업 식별자 없이, 시간에 따라 변하는 무한 데이터 스트림으로부터 순차적으로 지식을 축적해야 하는 과제를 다룹니다. 기존의 온라인 TFCL 방식들은 주로 매개변수 효율적인 프롬프트 튜닝이나 학습 과정에 결합된 최적화 동역학(예: 경험적 손실 변동 또는 진화하는 잠재 거리)에 의해 구동되는 동적 구조 확장에 의존합니다. 그 결과, 이러한 학습 과정에 결합된 솔루션들은 데이터 분포의 변화 원인에 대해 무지하며, 근본적으로 다른 스트리밍 변형에 대해 고정된 전략을 기계적으로 적용합니다. 이러한 문제를 해결하기 위해, 우리는 대규모 사전 학습 기반 모델을 활용하여 작업 독립적인 지속적 적응을 자율적으로 조율하는 프레임워크인 LargeMonitor를 제안합니다. 구체적으로, LargeMonitor는 대규모 비전 모델(LVM)의 고정되고 안정적인 표현 공간을 활용하는 분리된 탐지 모듈을 도입하여 학습 의존적인 간섭이나 취약한 임계값 조정 없이 강력하고 zero-shot 데이터 분포 변화 감지를 달성합니다. 확신된 데이터 분포 변화가 감지되면, LargeMonitor는 대규모 다중 모델(LMM)에 의해 구동되는 컨텍스트 인식 진단 모듈을 활성화하여 스트림 변형의 정확한 의미론적 원인을 해석합니다 (예: 새로운 클래스 등장 vs. 환경 도메인 변화). 이러한 이중 단계 기능은 지속 학습 시스템이 동적으로 적응적이고 변화 특화된 최적화 전략을 적용할 수 있도록 지원합니다. 다양한 TFCL 설정 및 벤치마크에서 수행된 광범위한 실험 결과, LargeMonitor는 복잡한 데이터 스트림에 대해 정확하고 강력한 탐지 및 진단을 달성하며 기존의 온라인 TFCL 알고리즘 성능을 지속적으로 향상시키는 것으로 나타났습니다.

Online task-free continual learning (TFCL) requires intelligent agents to sequentially accumulate knowledge from an unbounded, non-stationary data stream under strict single-pass constraints and without any explicit task identifiers. Existing online TFCL paradigms primarily rely on parameter-efficient prompt tuning or dynamic structure expansion driven by training-coupled optimization dynamics, such as empirical loss fluctuations or evolving latent distances. As a result, these training-coupled solvers remain agnostic to the structural origins of distribution drift, mechanically enforcing a fixed strategy across fundamentally distinct streaming variations. To address this gap, we propose LargeMonitor, a framework that leverages large pretrained foundation models to autonomously orchestrate task-free continuous adaptation. Specifically, LargeMonitor introduces a decoupled detection module utilizing the frozen, stable representation space of large vision models (LVMs) to achieve robust, zero-shot drift detection without training-dependent interference or brittle threshold tuning. Upon a confirmed drift, the framework activates a context-aware diagnostic module driven by large multimodal models (LMMs) to interpret the precise semantic etiologies of the stream variation (e.g., novel class emergence vs. environmental domain shift). This dual-stage capability empowers the continuous learner to dynamically deploy adaptive and shift-specific optimization strategies. Extensive experiments across multiple TFCL settings and benchmarks demonstrate that LargeMonitor achieves precise, robust detection and diagnosis of complex data streams while consistently improving the performance of existing online TFCL algorithms.