작업별 프롬프트-프로토타입을 이용한 키-값 쌍 없는 연속 학습기

Key-Value Pair-Free Continual Learner via Task-Specific Prompt-Prototype

연속 학습은 모델이 이전에 학습한 정보를 유지하면서 새로운 지식을 습득하도록 하는 것을 목표로 한다. 프롬프트 기반 방법들은 이 분야에서 뛰어난 성능을 보여주었으나, 일반적으로 키-값 쌍(key-value pairing)에 의존하기 때문에 작업 간 간섭이 발생하고 확장성이 저해될 수 있다. 이러한 한계를 극복하기 위해, 우리는 키-값 쌍이 필요 없는 작업별 프롬프트-프로토타입(ProP)을 활용한 새로운 접근 방식을 제안한다. 우리의 방법에서 작업별 프롬프트는 현재 작업에 대한 효과적인 특징 학습을 촉진하고, 이에 대응하는 프로토타입은 입력의 대표적인 특징을 포착한다. 추론 시에는 각 작업별 프롬프트를 관련 프로토타입과 결합하여 예측을 생성한다. 또한, 프롬프트 초기화 중 과도하게 큰 값에 페널티를 부여하는 정규화 제약을 도입하여 안정성을 높였다. 널리 사용되는 여러 데이터셋을 대상으로 한 실험을 통해 제안된 방법의 유효성을 입증하였다. 주류 프롬프트 기반 접근 방식과 달리, 우리의 프레임워크는 키-값 쌍에 대한 의존성을 제거함으로써 향후 연속 학습 연구에 새로운 관점을 제시한다.

Continual learning aims to enable models to acquire new knowledge while retaining previously learned information. Prompt-based methods have shown remarkable performance in this domain; however, they typically rely on key-value pairing, which can introduce inter-task interference and hinder scalability. To overcome these limitations, we propose a novel approach employing task-specific Prompt-Prototype (ProP), thereby eliminating the need for key-value pairs. In our method, task-specific prompts facilitate more effective feature learning for the current task, while corresponding prototypes capture the representative features of the input. During inference, predictions are generated by binding each task-specific prompt with its associated prototype. Additionally, we introduce regularization constraints during prompt initialization to penalize excessively large values, thereby enhancing stability. Experiments on several widely used datasets demonstrate the effectiveness of the proposed method. In contrast to mainstream prompt-based approaches, our framework removes the dependency on key-value pairs, offering a fresh perspective for future continual learning research.