거의 엄격한 연속 학습을 위한 공유 LoRA 서브스페이스

Shared LoRA Subspaces for almost Strict Continual Learning

사전 학습된 대규모 모델을 새로운 작업에 효율적이고 지속적으로 적용하는 것은 실제 환경에 매우 중요하지만, 파괴적인 망각 현상과 재학습에 드는 높은 비용으로 인해 여전히 어려운 과제입니다. Low-rank adaptation (LoRA)과 같은 파라미터 효율적인 튜닝 방법은 계산 부담을 줄여주지만, 데이터 재생 또는 여러 개의 어댑터를 사용하지 않고도 엄격한 연속 학습과 지식 통합을 위한 메커니즘이 부족합니다. 본 논문에서는 Share라는 새로운 파라미터 효율적인 연속 미세 조정 방법을 제안합니다. Share는 단일하고 공유되는 저랭크 서브스페이스를 학습하고 동적으로 업데이트하여 여러 작업과 모달리티에 걸쳐 원활한 적응을 가능하게 합니다. Share는 과거 작업에서 핵심 지식을 추출하는 기반 서브스페이스를 구축하고, 필수적인 서브스페이스 방향을 식별하여 새로운 정보를 점진적으로 통합합니다. 각 새로운 작업에서 얻은 지식은 이 진화하는 서브스페이스에 통합되어, 순방향 지식 전달을 촉진하고 파괴적인 간섭을 최소화합니다. 이 방법은 기존의 LoRA 방법보다 최대 100배의 파라미터 감소와 281배의 메모리 절약을 달성하면서도, 공동 학습된 모델과 유사한 성능을 유지합니다. 하나의 Share 모델은 수백 개의 작업별 LoRA 어댑터를 대체하여, 확장 가능하고 비동기적인 연속 학습을 지원합니다. 이미지 분류, 자연어 이해, 3D 자세 추정 및 텍스트-이미지 생성 등 다양한 실험을 통해 Share의 효과가 검증되었으며, Share는 대규모 AI 시스템에서 실용적이고 확장 가능한 라이프론트 러닝 솔루션입니다.

Adapting large pretrained models to new tasks efficiently and continually is crucial for real-world deployment but remains challenging due to catastrophic forgetting and the high cost of retraining. While parameter-efficient tuning methods like low rank adaptation (LoRA) reduce computational demands, they lack mechanisms for strict continual learning and knowledge integration, without relying on data replay, or multiple adapters. We propose Share, a novel approach to parameter efficient continual finetuning that learns and dynamically updates a single, shared low-rank subspace, enabling seamless adaptation across multiple tasks and modalities. Share constructs a foundational subspace that extracts core knowledge from past tasks and incrementally integrates new information by identifying essential subspace directions. Knowledge from each new task is incorporated into this evolving subspace, facilitating forward knowledge transfer, while minimizing catastrophic interference. This approach achieves up to 100x parameter reduction and 281x memory savings over traditional LoRA methods, maintaining performance comparable to jointly trained models. A single Share model can replace hundreds of task-specific LoRA adapters, supporting scalable, asynchronous continual learning. Experiments across image classification, natural language understanding, 3D pose estimation, and text-to-image generation validate its effectiveness, making Share a practical and scalable solution for lifelong learning in large-scale AI systems.