저자원 환경에서의 명명 개체 인식 (Named Entity Recognition)을 위한 하이브리드 방법

A Hybrid Method for Low-Resource Named Entity Recognition

명명 개체 인식(NER)은 정보 추출 및 대화형 인공지능 등 다양한 분야에서 활용되는 자연어 처리의 핵심 구성 요소입니다. 그러나 특정 도메인에서 저자원 언어에 대한 NER은 제한된 어노테이션 데이터 및 이질적인 라벨 집합과 같은 어려움에 직면합니다. 본 연구는 이러한 문제를 해결하기 위해, 베트남어 NER을 위한 규칙 기반 처리와 딥러닝 모델을 통합하는 하이브리드 신경-기호 프레임워크를 제안합니다. 핵심 아이디어는 두 단계 파이프라인을 사용하는 것입니다. 첫째, 규칙 기반 구성 요소가 관계 및 특수 범주를 그룹화하여 라벨 복잡성을 줄입니다. 둘째, 사전 훈련된 언어 모델을 미세 조정하여 높은 정확도의 추출을 수행합니다. 이후, 후처리 모듈을 사용하여 세분화된 라벨을 복원하여 애플리케이션 수준의 활용성을 위한 표현력을 유지합니다. 데이터 부족 문제를 완화하기 위해, 본 연구에서는 대규모 언어 모델(LLM)을 활용하여 전체 재어노테이션 없이 라벨 집합을 확장하는 확장 가능한 데이터 증강 전략을 도입합니다. 이는 본 연구의 중요한 혁신입니다. 제안된 방법은 물류, 야생 동물, 의료 등 5개의 특정 도메인 데이터 세트에 대해 평가되었습니다. 실험 결과는 강력한 RoBERTa 기반 모델보다 상당한 성능 향상을 보여주었습니다. 구체적으로, 제안된 시스템은 고객 서비스에서 83%에서 90%, GAM에서 73%에서 84%, AI Fluent에서 80%에서 83%, PhoNER_Covid19에서 91%에서 94%, 그리고 희귀 야생 동물 데이터에서 36%에서 60%의 F1 점수를 달성했습니다. 이러한 결과는 하이브리드 접근 방식이 베트남어의 언어적 복잡성과 전문 분야의 문맥적 뉘앙스를 효과적으로 포착하며, 저자원 NER 연구에 중요한 기여를 할 수 있음을 확인합니다.

Named Entity Recognition (NER) is a critical component of Natural Language Processing with diverse applications in information extraction and conversational AI. However, NER in specific domains for low-resource languages faces challenges such as limited annotated data and heterogeneous label sets. This study addresses these issues by proposing a hybrid neurosymbolic framework that integrates rule-based processing with deep learning models for Vietnamese NER. The core idea involves a two-stage pipeline: first, a rule-based component reduces label complexity by grouping relational and special categories; second, pre-trained language models are fine-tuned for high-precision extraction. A post-processing module is then utilized to restore fine-grained labels, preserving expressiveness for application-level usability. To mitigate data scarcity, a scalable data augmentation strategy leveraging Large Language Models (LLMs) is introduced to expand the label set without full re-annotation, which is a significant novelty of this work. The effectiveness of this method was evaluated across five specific-domain datasets, including logistics, wildlife, and healthcare. Experimental results demonstrate substantial improvements over strong RoBERTa-based baselines. Specifically, the proposed system achieved F1 scores of 90 percent in Customer Service, up from 83 percent; 84 percent in GAM, up from 73 percent; 83 percent in AI Fluent, up from 80 percent; 94 percent in PhoNER_Covid19, up from 91 percent; and 60 percent in Rare Wildlife, up from 36 percent. These findings confirm that the hybrid approach effectively captures the linguistic complexity of Vietnamese and contextual nuances in specialized domains, offering a robust contribution to low-resource NER research.