ViCLSR: 자연어 추론을 활용한 지도적 대비 학습 프레임워크 - 자연어 이해 작업

ViCLSR: A Supervised Contrastive Learning Framework with Natural Language Inference for Natural Language Understanding Tasks

자연어 이해(NLU)를 위해서는 고품질의 텍스트 표현이 필수적이지만, 베트남어와 같이 데이터가 부족한 언어는 이러한 측면에서 어려움을 겪습니다. 사전 학습된 모델인 PhoBERT 및 CafeBERT는 우수한 성능을 보이지만, 데이터 부족으로 인해 그 효과가 제한될 수 있습니다. 대비 학습(CL)은 최근 문장 표현을 개선하는 유망한 접근 방식으로, 모델이 의미적으로 유사하고 다른 문장을 효과적으로 구별할 수 있도록 합니다. 본 연구에서는 베트남어 문장 임베딩을 최적화하기 위해 설계된 새로운 지도적 대비 학습 프레임워크인 ViCLSR(Vietnamese Contrastive Learning for Sentence Representations)을 제안합니다. ViCLSR은 기존의 자연어 추론(NLI) 데이터셋을 활용합니다. 또한, 기존의 베트남어 데이터셋을 지도 학습에 적합하도록 변환하는 방법을 제안하여 대비 학습 방법과의 호환성을 확보합니다. 실험 결과, ViCLSR은 ViNLI(+6.97% F1), ViWikiFC(+4.97% F1), ViFactCheck(+9.02% F1), UIT-ViCTSD(+5.36% F1) 및 ViMMRC2.0(+4.33% 정확도)을 포함한 5개의 벤치마크 NLU 데이터셋에서 강력한 단일 언어 사전 학습 모델인 PhoBERT를 크게 능가하는 성능을 보였습니다. ViCLSR은 지도적 대비 학습이 베트남어 NLU 작업에서 자원 부족 문제를 효과적으로 해결하고 저자원 언어의 문장 표현 학습을 개선할 수 있음을 보여줍니다. 또한, 실험 결과에 대한 심층적인 분석을 통해 대비 학습 모델의 우수한 성능에 기여하는 요인을 밝혀냅니다. ViCLSR은 자연어 처리 연구 발전을 위해 연구 목적으로 공개됩니다.

High-quality text representations are crucial for natural language understanding (NLU), but low-resource languages like Vietnamese face challenges due to limited annotated data. While pre-trained models like PhoBERT and CafeBERT perform well, their effectiveness is constrained by data scarcity. Contrastive learning (CL) has recently emerged as a promising approach for improving sentence representations, enabling models to effectively distinguish between semantically similar and dissimilar sentences. We propose ViCLSR (Vietnamese Contrastive Learning for Sentence Representations), a novel supervised contrastive learning framework specifically designed to optimize sentence embeddings for Vietnamese, leveraging existing natural language inference (NLI) datasets. Additionally, we propose a process to adapt existing Vietnamese datasets for supervised learning, ensuring compatibility with CL methods. Our experiments demonstrate that ViCLSR significantly outperforms the powerful monolingual pre-trained model PhoBERT on five benchmark NLU datasets such as ViNLI (+6.97% F1), ViWikiFC (+4.97% F1), ViFactCheck (+9.02% F1), UIT-ViCTSD (+5.36% F1), and ViMMRC2.0 (+4.33% Accuracy). ViCLSR shows that supervised contrastive learning can effectively address resource limitations in Vietnamese NLU tasks and improve sentence representation learning for low-resource languages. Furthermore, we conduct an in-depth analysis of the experimental results to uncover the factors contributing to the superior performance of contrastive learning models. ViCLSR is released for research purposes in advancing natural language processing tasks.