레이블 가이드 거리 스케일링을 통한 소량 데이터 텍스트 분류를 위한 메타 러닝 성능 향상

Boosting Meta-Learning for Few-Shot Text Classification via Label-guided Distance Scaling

소량 데이터 텍스트 분류는 제한된 수의 레이블이 있는 텍스트 샘플을 사용하여 새로운 클래스를 인식하는 것을 목표로 합니다. 기존 방법들은 주로 훈련 단계에서 복잡한 알고리즘을 개발하여 메타 러너의 성능을 향상시키는 데 중점을 둡니다. 그러나 테스트 단계에서 레이블이 있는 샘플은 무작위로 선택되기 때문에 효과적인 지도 신호를 제공하지 못할 수 있으며, 이는 오분류로 이어질 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 레이블 가이드 거리 스케일링(LDS) 전략을 제안합니다. 우리 방법의 핵심은 훈련 및 테스트 단계 모두에서 레이블 의미론을 지도 신호로 활용하는 것입니다. 구체적으로, 훈련 단계에서는 레이블 의미론 정보를 주입하기 위해 레이블 가이드 손실 함수를 설계하여, 샘플 표현과 해당 레이블 표현을 서로 가깝게 만듭니다. 테스트 단계에서는, 레이블 의미론을 사용하여 샘플 표현을 스케일링하여 추가적인 지도 신호를 제공하는 레이블 가이드 스케일러를 제안합니다. 따라서, 레이블이 있는 샘플 표현이 클래스 중심에서 멀리 떨어져 있더라도, 우리 레이블 가이드 스케일러는 이를 해당 클래스 중심으로 끌어당겨 오분류를 완화합니다. 우리는 두 가지 일반적인 메타 러너를 사용하여 방법의 효과를 검증했습니다. 광범위한 실험 결과는 우리 접근 방식이 최첨단 모델보다 훨씬 뛰어난 성능을 보임을 보여줍니다. 모든 데이터셋과 코드는 https://anonymous.4open.science/r/Label-guided-Text-Classification 에서 확인할 수 있습니다.

Few-shot text classification aims to recognize unseen classes with limited labeled text samples. Existing approaches focus on boosting meta-learners by developing complex algorithms in the training stage. However, the labeled samples are randomly selected during the testing stage, so they may not provide effective supervision signals, leading to misclassification. To address this issue, we propose a \textbf{L}abel-guided \textbf{D}istance \textbf{S}caling (LDS) strategy. The core of our method is exploiting label semantics as supervision signals in both the training and testing stages. Specifically, in the training stage, we design a label-guided loss to inject label semantic information, pulling closer the sample representations and corresponding label representations. In the testing stage, we propose a Label-guided Scaler which scales sample representations with label semantics to provide additional supervision signals. Thus, even if labeled sample representations are far from class centers, our Label-guided Scaler pulls them closer to their class centers, thereby mitigating the misclassification. We combine two common meta-learners to verify the effectiveness of the method. Extensive experimental results demonstrate that our approach significantly outperforms state-of-the-art models. All datasets and codes are available at https://anonymous.4open.science/r/Label-guided-Text-Classification.