ArtNet: 견고한 제로샷 음소 인식 시스템을 위한 발음 예측 프레임워크

ArtNet: A JEPA-Like Articulatory Predictive Framework for Robust Zero-Shot Phoneme Recognition

제로샷 크로스-랭귀지 음소 인식은 종종 직접적인 음향-기호 매핑의 취약성으로 인해 어려움을 겪습니다. 이러한 문제는 언어별 변동에 민감하게 반응하기 때문입니다. 시각 분야에서 joint-embedding predictive architecture (JEPA) 연구를 참고하여, 본 논문에서는 음향적 강건성을 향상시키기 위해 발음 특징 기반의 구조화된 특징 예측 작업을 탐구하는 프레임워크인 ArtNet을 제안합니다. 특히, ArtNet은 자기 지도 학습(SSL) 특징으로부터 보편적인 발음 표현을 추출하도록 설계된 발음 예측기와 변분 정보 병목(VIB)을 통합하여 언어별 변동성을 억제합니다. 일곱 개의 새로운 언어에 대한 실험 결과, ArtNet은 특히 제안된 벡터 공간 인벤토리 정렬(VSIA) 전략과 결합될 때 경쟁적인 기본 모델보다 현저히 우수한 성능을 보이며, 음소 오류율(PER)이 20.56% 감소하고 음소 특징 오류율(PFER)이 7.01% 감소하는 결과를 얻었습니다.

Zero-shot cross-lingual phoneme recognition is often hindered by the fragility of direct acoustic-to-symbol mapping, which is susceptible to language-specific variations. Echoing joint-embedding predictive architecture (JEPA) work in vision, we propose ArtNet, a framework that explores a structured feature prediction task based on articulatory features to enhance acoustic robustness. Specifically, ArtNet integrates an articulatory predictor, designed to extract universal articulatory representations from self-supervised learning (SSL) features, with a variational information bottleneck (VIB) to suppress language-specific variations. Experiments on seven unseen languages demonstrate that ArtNet, particularly when synergized with the proposed vector-space inventory alignment (VSIA) strategy, significantly outperforms competitive baselines, achieving a 20.56\% relative reduction in phoneme error rate (PER) and 7.01\% in phoneme feature error rate (PFER).