비전 트랜스포머의 클래스 증분 학습을 위한 연관성 드리프트 보상을 갖춘 확장 가능한 분석 분류기

Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers

비전 트랜스포머(ViT)를 사용한 클래스 증분 학습(CIL)은 분류기 재구성 단계에서 심각한 계산 병목 현상을 겪으며, 대부분의 기존 방법은 비용이 많이 드는 반복적인 확률적 경사 하강법(SGD)에 의존합니다. 우리는 분석적 정규화 가우시안 판별 분석(RGDA)이 SGD 기반 분류기와 유사한 정확도를 제공하는 베이즈 최적의 대안이라는 것을 발견했지만, 그 이차적인 추론 복잡성은 대규모 CIL 시나리오에서의 사용을 제한합니다. 이를 극복하기 위해, 우리는 RGDA의 표현력을 선형 분류기의 효율성과 결합한 확장 가능한 분류기인 저랭크 인자화 RGDA(LR-RGDA)를 제안합니다. LR-RGDA는 Woodbury 행렬 항등식을 통해 공분산 행렬의 저랭크 구조를 활용하여 판별 함수를 전역 아핀 항과 저랭크 이차 항으로 분해하여 추론 복잡도를 $\mathcal{O}(Cd^2)$에서 $\mathcal{O}(d^2 + Crd^2)$로 줄입니다. 여기서 $C$는 클래스 수, $d$는 특징 차원, 그리고 $r \ll d$는 부분 공간의 랭크입니다. 또한, 백본 업데이트로 인해 발생하는 표현 드리프트를 완화하기 위해, 학습이 필요 없는 메커니즘인 Hopfield 기반 분포 보상기(HopDC)를 도입합니다. HopDC는 현대적인 연속 Hopfield 네트워크를 사용하여 비표시된 앵커에 대한 연관성 메모리 역학을 통해 과거 클래스 통계치를 재조정하며, 추정 오류에 대한 이론적 경계를 제공합니다. 다양한 CIL 벤치마크에 대한 광범위한 실험 결과, 우리 프레임워크는 최첨단 성능을 달성하며, ViT를 사용한 대규모 클래스 증분 학습을 위한 확장 가능한 솔루션을 제공합니다. 코드: https://github.com/raoxuan98-hash/lr_rgda_hopdc

Class-incremental learning (CIL) with Vision Transformers (ViTs) faces a major computational bottleneck during the classifier reconstruction phase, where most existing methods rely on costly iterative stochastic gradient descent (SGD). We observe that analytic Regularized Gaussian Discriminant Analysis (RGDA) provides a Bayes-optimal alternative with accuracy comparable to SGD-based classifiers; however, its quadratic inference complexity limits its use in large-scale CIL scenarios. To overcome this, we propose Low-Rank Factorized RGDA (LR-RGDA), a scalable classifier that combines RGDA's expressivity with the efficiency of linear classifiers. By exploiting the low-rank structure of the covariance via the Woodbury matrix identity, LR-RGDA decomposes the discriminant function into a global affine term refined by a low-rank quadratic perturbation, reducing the inference complexity from $\mathcal{O}(Cd^2)$ to $\mathcal{O}(d^2 + Crd^2)$, where $C$ is the class number, $d$ the feature dimension, and $r \ll d$ the subspace rank. To mitigate representation drift caused by backbone updates, we further introduce Hopfield-based Distribution Compensator (HopDC), a training-free mechanism that uses modern continuous Hopfield Networks to recalibrate historical class statistics through associative memory dynamics on unlabeled anchors, accompanied by a theoretical bound on the estimation error. Extensive experiments on diverse CIL benchmarks demonstrate that our framework achieves state-of-the-art performance, providing a scalable solution for large-scale class-incremental learning with ViTs. Code: https://github.com/raoxuan98-hash/lr_rgda_hopdc.