대조 학습 및 지수 이동 평균 증류를 활용한 세분화된 패션 이미지 검색을 위한 다중 헤드 연속 학습 프레임워크

A Multihead Continual Learning Framework for Fine-Grained Fashion Image Retrieval with Contrastive Learning and Exponential Moving Average Distillation

대부분의 세분화된 패션 이미지 검색(FIR) 방법은 정적인 환경을 가정하며, 새로운 속성이 나타날 때마다 전체 재훈련이 필요하므로 동적인 시나리오에서는 비용이 많이 들고 비현실적입니다. 사전 학습된 모델은 제로샷 추론을 지원하지만, 지도 없이 사용할 경우 정확도가 떨어지며, 세분화된 FIR을 위한 클래스 증분 학습(CIL)에 대한 기존 연구는 거의 없습니다. 본 논문에서는 대조 학습과 지수 이동 평균(EMA) 증류를 활용한 세분화된 패션 이미지 검색을 위한 다중 헤드 연속 학습 프레임워크(MCL-FIR)를 제안합니다. MCL-FIR은 다중 헤드 설계를 채택하여 증분 과정에서 진화하는 클래스를 수용하고, InfoNCE를 사용하여 triplet 입력을 doublet으로 재구성하여 더 간단하고 효과적인 학습을 가능하게 하며, 효율적인 지식 전달을 위해 EMA 증류를 사용합니다. 네 가지 데이터 세트에 대한 실험 결과, MCL-FIR은 확장성을 넘어 효율성과 정확성 간의 균형을 잘 맞추는 것을 보여줍니다. MCL-FIR은 유사한 학습 비용 하에서 기존 CIL 방법보다 성능이 뛰어나며, 정적인 방법과 비교했을 때 약 30%의 학습 비용만으로 유사한 성능을 제공합니다. 소스 코드는 https://github.com/Dr-LingXiao/MCL-FIR 에서 공개적으로 이용할 수 있습니다.

Most fine-grained fashion image retrieval (FIR) methods assume a static setting, requiring full retraining when new attributes appear, which is costly and impractical for dynamic scenarios. Although pretrained models support zero-shot inference, their accuracy drops without supervision, and no prior work explores class-incremental learning (CIL) for fine-grained FIR. We propose a multihead continual learning framework for fine-grained fashion image retrieval with contrastive learning and exponential moving average (EMA) distillation (MCL-FIR). MCL-FIR adopts a multi-head design to accommodate evolving classes across increments, reformulates triplet inputs into doublets with InfoNCE for simpler and more effective training, and employs EMA distillation for efficient knowledge transfer. Experiments across four datasets demonstrate that, beyond its scalability, MCL-FIR achieves a strong balance between efficiency and accuracy. It significantly outperforms CIL baselines under similar training cost, and compared with static methods, it delivers comparable performance while using only about 30% of the training cost. The source code is publicly available in https://github.com/Dr-LingXiao/MCL-FIR.