FlyPrompt: 뇌-영감을 받은 랜덤 확장 라우팅과 시간적 앙상블 전문가를 활용한 일반적인 지속 학습

FlyPrompt: Brain-Inspired Random-Expanded Routing with Temporal-Ensemble Experts for General Continual Learning

일반적인 지속 학습(GCL)은 지능형 시스템이 명확한 작업 경계 없이 단일 패스의 비정상 데이터 스트림에서 학습하도록 요구합니다. 최근 사전 학습된 모델의 지속적인 파라미터 효율적 튜닝(PET) 분야에서 상당한 진전이 있었지만, 이러한 방법은 일반적으로 여러 번의 학습 에포크와 명시적인 작업 신호에 의존하여 GCL 시나리오에서의 효과를 제한합니다. 또한, 기존 방법은 종종 목표 지향적인 설계가 부족하며, 지속적인 PET에서 발생하는 두 가지 근본적인 과제, 즉 전문가 파라미터를 변화하는 데이터 분포에 할당하는 방법과 제한된 감독 하에서 표현 능력을 향상시키는 방법에 대한 해결책을 제시하지 못합니다. 과일 파리의 계층적 기억 시스템에서 영감을 받아, 본 연구에서는 희소한 확장과 모듈식 앙상블을 특징으로 하는 뇌-영감을 받은 프레임워크인 FlyPrompt를 제안합니다. FlyPrompt는 GCL을 두 가지 하위 문제, 즉 전문가 라우팅과 전문가 역량 향상으로 분해합니다. FlyPrompt는 인스턴스 수준의 전문가 활성화를 위한 랜덤 확장 분석 라우터를 도입하고, 의사 결정 경계를 시간에 따라 동적으로 조정하기 위해 출력 헤드의 시간적 앙상블을 사용합니다. 광범위한 이론적 및 실험적 평가를 통해 FlyPrompt가 최첨단 기준 모델보다 우수한 성능을 보임을 입증했으며, CIFAR-100, ImageNet-R 및 CUB-200 데이터셋에서 각각 11.23%, 12.43% 및 7.62%의 성능 향상을 달성했습니다. 저희의 소스 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/AnAppleCore/FlyGCL.

General continual learning (GCL) challenges intelligent systems to learn from single-pass, non-stationary data streams without clear task boundaries. While recent advances in continual parameter-efficient tuning (PET) of pretrained models show promise, they typically rely on multiple training epochs and explicit task cues, limiting their effectiveness in GCL scenarios. Moreover, existing methods often lack targeted design and fail to address two fundamental challenges in continual PET: how to allocate expert parameters to evolving data distributions, and how to improve their representational capacity under limited supervision. Inspired by the fruit fly's hierarchical memory system characterized by sparse expansion and modular ensembles, we propose FlyPrompt, a brain-inspired framework that decomposes GCL into two subproblems: expert routing and expert competence improvement. FlyPrompt introduces a randomly expanded analytic router for instance-level expert activation and a temporal ensemble of output heads to dynamically adapt decision boundaries over time. Extensive theoretical and empirical evaluations demonstrate FlyPrompt's superior performance, achieving up to 11.23%, 12.43%, and 7.62% gains over state-of-the-art baselines on CIFAR-100, ImageNet-R, and CUB-200, respectively. Our source code is available at https://github.com/AnAppleCore/FlyGCL.