KUET, StanceNakba 공유 과제 참여: StanceMoE: 탠스 감지(Stance Detection)를 위한 전문가 혼합(Mixture-of-Experts) 아키텍처

KUET at StanceNakba Shared Task: StanceMoE: Mixture-of-Experts Architecture for Stance Detection

액터 레벨 탠스 감지는 저자가 텍스트 내에 언급되거나 관련되어 있는 특정 지정학적 주체에 대해 표현하는 입장을 파악하는 것을 목표로 합니다. 트랜스포머 기반 모델은 탠스 분류에서 비교적 좋은 성능을 보이지만, 일반적으로 대비되는 담론 구조, 프레임 지시어, 중요한 어휘 지표와 같은 다양한 언어적 신호를 충분히 포착하지 못하는 통일된 표현에 의존하는 경향이 있습니다. 이는 다양한 탠스 표현 패턴을 명시적으로 모델링하는 적응형 아키텍처의 필요성을 시사합니다. 본 논문에서는 액터 레벨 탠스 감지를 위해 미세 조정된 BERT 인코더를 기반으로 구축된 컨텍스트 강화 전문가 혼합(MoE) 아키텍처인 StanceMoE를 제안합니다. 우리의 모델은 전역 의미 방향, 중요한 어휘 지표, 절 수준의 초점, 구 수준의 패턴, 프레임 지시어, 대비에 따른 담론 변화와 같은 상호 보완적인 언어적 신호를 포착하도록 설계된 6개의 전문가 모듈을 통합합니다. 컨텍스트 인지 게이팅 메커니즘은 입력 특성에 따라 전문가의 기여도를 동적으로 조정하여 적응적인 라우팅을 가능하게 합니다. StanceNakba 2026 서브태스크 A 데이터 세트(대상 액터가 텍스트 내에 명시적으로 언급되지 않은 1,401개의 영어 텍스트)에 대한 실험 결과, StanceMoE는 94.26%의 매크로-F1 점수를 달성하여 기존의 기본 모델 및 대체 BERT 기반 모델보다 뛰어난 성능을 보였습니다.

Actor-level stance detection aims to determine an author expressed position toward specific geopolitical actors mentioned or implicated in a text. Although transformer-based models have achieved relatively good performance in stance classification, they typically rely on unified representations that may not sufficiently capture heterogeneous linguistic signals, such as contrastive discourse structures, framing cues, and salient lexical indicators. This motivates the need for adaptive architectures that explicitly model diverse stance-expressive patterns. In this paper, we propose StanceMoE, a context-enhanced Mixture-of-Experts (MoE) architecture built upon a fine-tuned BERT encoder for actor-level stance detection. Our model integrates six expert modules designed to capture complementary linguistic signals, including global semantic orientation, salient lexical cues, clause-level focus, phrase-level patterns, framing indicators, and contrast-driven discourse shifts. A context-aware gating mechanism dynamically weights expert contributions, enabling adaptive routing based on input characteristics. Experiments are conducted on the StanceNakba 2026 Subtask A dataset, comprising 1,401 annotated English texts where the target actor is implicit in the text. StanceMoE achieves a macro-F1 score of 94.26%, outperforming traditional baselines, and alternative BERT-based variants.