동적 임계값 및 부정 학습 기반 준지도 얼굴 표정 인식

Semi-Supervised Facial Expression Recognition based on Dynamic Threshold and Negative Learning

얼굴 표정 인식은 인간-컴퓨터 상호작용 및 감정 컴퓨팅의 핵심 과제입니다. 그러나 많은 양의 레이블이 지정된 얼굴 표정 데이터를 확보하는 것은 종종 비용이 많이 듭니다. 따라서, 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 최대한 활용하는 준지도 얼굴 표정 인식 알고리즘을 설계하는 것이 특히 중요합니다. 본 논문에서는 동적 임계값 조정(DTA) 및 선택적 부정 학습(SNL)을 기반으로 하는 준지도 얼굴 표정 인식 알고리즘을 제안합니다. 먼저, 특징 추출 과정에서 로컬 어텐션 향상 및 특징 맵의 랜덤 드롭아웃 전략을 설계하여 로컬 특징의 표현력을 강화하는 동시에 모델이 특정 로컬 영역에 과적합되지 않도록 했습니다. 또한, 본 연구에서는 얼굴 표정 인식 작업의 준지도 학습 프레임워크 요구 사항에 적응하기 위한 동적 임계값 방법을 도입하고, 선택적 부정 학습 전략을 통해 낮은 신뢰도를 가진 레이블이 지정되지 않은 샘플에서 유용한 표정 정보를 추출하여 상호 보완적인 레이블을 활용함으로써 뛰어난 결과를 얻었습니다. RAF-DB 및 AffectNet 데이터 세트에서 최고 수준의 성능을 달성했으며, 전체 데이터 세트를 사용하지 않고도 완전 지도 학습 방법보다 우수한 성능을 보여주어 제안하는 방법의 효과를 입증했습니다.

Facial expression recognition is a key task in human-computer interaction and affective computing. However, acquiring a large amount of labeled facial expression data is often costly. Therefore, it is particularly important to design a semi-supervised facial expression recognition algorithm that makes full use of both labeled and unlabeled data. In this paper, we propose a semi-supervised facial expression recognition algorithm based on Dynamic Threshold Adjustment (DTA) and Selective Negative Learning (SNL). Initially, we designed strategies for local attention enhancement and random dropout of feature maps during feature extraction, which strengthen the representation of local features while ensuring the model does not overfit to any specific local area. Furthermore, this study introduces a dynamic thresholding method to adapt to the requirements of the semi-supervised learning framework for facial expression recognition tasks, and through a selective negative learning strategy, it fully utilizes unlabeled samples with low confidence by mining useful expression information from complementary labels, achieving impressive results. We have achieved state-of-the-art performance on the RAF-DB and AffectNet datasets. Our method surpasses fully supervised methods even without using the entire dataset, which proves the effectiveness of our approach.