NanoNet: 파라미터 효율적인 학습과 희소 라벨 감독을 활용한 경량 텍스트 마이닝 모델

NanoNet: Parameter-Efficient Learning with Label-Scarce Supervision for Lightweight Text Mining Model

경량 반지도 학습(LSL) 전략은 라벨링된 샘플을 절약하고 모델 추론 비용을 최소화하는 효과적인 방법입니다. 기존 연구에서는 지식 전이 학습과 코트레이닝 정규화를 통해 대규모 모델에서 소규모 모델로 정보를 이전하는 LSL 방법을 효과적으로 적용했습니다. 그러나 이러한 학습 전략은 계산 비용이 많이 들고 지역 최적점에 빠지기 쉬워, 최적의 솔루션을 찾는 데 어려움을 겪습니다. 이에 우리는 텍스트 마이닝 작업에 적용 가능한 세 가지 저비용 시나리오를 통합하는 것이 가능한지 조사했습니다. 제안하는 NanoNet은 제한된 감독 하에 파라미터 효율적인 학습을 구현하는 경량 텍스트 마이닝을 위한 새로운 프레임워크입니다. 이 프레임워크는 온라인 지식 증류를 사용하여 여러 개의 소규모 모델을 생성하고, 상호 학습 정규화를 통해 성능을 향상시킵니다. 전체 과정은 파라미터 효율적인 학습을 활용하여 학습 비용을 줄이고 감독 요구 사항을 최소화하며, 궁극적으로 다운스트림 추론을 위한 경량 모델을 제공합니다.

The lightweight semi-supervised learning (LSL) strategy provides an effective approach of conserving labeled samples and minimizing model inference costs. Prior research has effectively applied knowledge transfer learning and co-training regularization from large to small models in LSL. However, such training strategies are computationally intensive and prone to local optima, thereby increasing the difficulty of finding the optimal solution. This has prompted us to investigate the feasibility of integrating three low-cost scenarios for text mining tasks: limited labeled supervision, lightweight fine-tuning, and rapid-inference small models. We propose NanoNet, a novel framework for lightweight text mining that implements parameter-efficient learning with limited supervision. It employs online knowledge distillation to generate multiple small models and enhances their performance through mutual learning regularization. The entire process leverages parameter-efficient learning, reducing training costs and minimizing supervision requirements, ultimately yielding a lightweight model for downstream inference.