MemeScouts@LT-EDI 2026: 올바른 질문을 던지다 – 밈 혐오 표현 탐지를 위한 프롬프트 기반 약한 지도 학습

MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

밈은 다중 모드적 특성과 냉소, 문화적 맥락과 같은 미묘한 단서로 인해 혐오 표현을 탐지하기 어렵습니다. 최근의 시각-언어 모델(VLM)은 텍스트와 이미지를 함께 분석하는 기능을 제공하지만, 전체적인 예측은 대상, 입장, 암시, 풍자 등 다양한 요소를 고려해야 하므로 취약할 수 있습니다. 이러한 문제는 다국어 환경에서 더욱 심화됩니다. 본 연구에서는 LT-EDI 2026 공유 과제에서 동성애 혐오 및 트랜스젠더 혐오 표현 탐지를 위해, 질문 기반의 표제 함수를 활용한 프롬프트 기반 약한 지도 학습(PWS) 방법을 제안합니다. 이 방법은 정해진 답변 옵션을 갖춘 질문에 대한 답변을 통해 특징을 추출하는 양자화된 Qwen3-VLM을 사용하며, 직접적인 VLM 분류 방식보다 성능이 우수합니다. 특히 중국어 및 힌디어에서 상당한 성능 향상을 보였으며, 영어에서는 1위, 중국어에서는 2위, 힌디어에서는 3위를 차지했습니다. 오류 기반의 표제 함수 확장 및 특징 가지치기를 통해 중복을 줄이고 일반화 성능을 향상시켰습니다. 본 연구 결과는 다국어 다중 모드 혐오 표현 탐지에서 프롬프트 기반 약한 지도 학습의 효과를 입증합니다.

Detecting hate speech in memes is challenging due to their multimodal nature and subtle, culturally grounded cues such as sarcasm and context. While recent vision-language models (VLMs) enable joint reasoning over text and images, end-to-end prompting can be brittle, as a single prediction must resolve target, stance, implicitness, and irony. These challenges are amplified in multilingual settings. We propose a prompted weak supervision (PWS) approach that decomposes meme understanding into targeted, question-based labeling functions with constrained answer options for homophobia and transphobia detection in the LT-EDI 2026 shared task. Using a quantized Qwen3-VLM to extract features by answering targeted questions, our method outperforms direct VLM classification, with substantial gains for Chinese and Hindi, ranking 1st in English, 2nd in Chinese, and 3rd in Hindi. Iterative refinement via error-driven LF expansion and feature pruning reduces redundancy and improves generalization. Our results highlight the effectiveness of prompted weak supervision for multilingual multimodal hate speech detection.