AHA-Memes: 아랍어 밈(meme) 내 증오 표현 이해를 위한 세분화된 다중 모드 벤치마크

AHA-Memes: A Fine-Grained Multimodal Benchmark for Understanding Hate in Arabic Memes

증오심 가득한 밈은 이미지, 텍스트, 문화적 참조 및 암묵적인 대상의 복합적인 해석을 통해 적대적인 의도가 전달되는 온라인상의 심각한 문제로 점점 더 큰 비중을 차지하고 있습니다. 증오심 가득한 밈 탐지는 자원이 풍부한 언어에서는 발전했지만, 아랍어는 아직 연구가 부족하며, 기존의 밈 데이터셋은 주로 선전 또는 광범위한 유해 콘텐츠 레이블에 초점을 맞추고 있습니다. 본 논문에서는 (저희에게 알려진 바로는) 최초의 대규모 아랍어 증오심 가득한 밈 벤치마크인 AHA-Memes (Arabic HAteful Memes)를 소개합니다. 이 데이터셋은 증오 유형, 즉 공격 전략을 포괄하는 분류 체계를 사용하여 수동으로 주석이 달린 5,000개의 밈으로 구성되어 있습니다. 또한 향후 연구를 지원하기 위해 약 66,000개의 은색 레이블이 지정된 밈을 제공합니다. 본 논문에서는 텍스트만 사용하거나 이미지만 사용하는 모델, 그리고 후반 단계에서 여러 모드를 결합하는 모델뿐만 아니라, 소량 데이터 환경에서의 컨텍스트 학습(ICL) 및 가중치가 공개 또는 비공개인 시각-언어 모델(VLM)을 제로샷(zero-shot) 및 미세 조정(fine-tuning) 설정을 통해 비교 분석합니다. 우리의 결과는 강력한 기준점을 제시하고, 문화적 맥락에 기반한 아랍어 증오심 가득한 밈 탐지에서 중요한 과제를 강조합니다. 본 데이터셋, 주석 지침, 그리고 평가 스크립트를 공개하여 향후 연구를 지원하고자 합니다. 경고: 본 논문에는 독자에게 불쾌감을 줄 수 있는 예시가 포함되어 있습니다.

Hateful memes are a growing form of multimodal online harm, where hostile intent is often conveyed through the joint interpretation of images, text, cultural references, and implicit targets. While hateful meme detection has advanced in high-resource languages, Arabic remains underexplored, with existing meme resources focusing mainly on propaganda or coarse harmful-content labels. We introduce AHA-Memes (Arabic HAteful Memes), which is, to our knowledge, the first large-scale Arabic hateful meme benchmark with fine-grained, multi-label annotations. The dataset includes 5K manually annotated memes using a taxonomy that captures hate types, i.e., attack strategies. We further provide ~66K silver-labeled memes to support future studies. We benchmark text-only, image-only, and late-fusion multimodal models, as well as few-shot in-context learning (ICL) and open- and closed-weight Vision-Language Models (VLMs) under zero-shot and fine-tuning settings. Our results establish strong baselines and highlight key challenges in culturally grounded Arabic hateful meme detection. We release the dataset, annotation guidelines, and evaluation scripts to support future research. WARNING: This paper contains examples that may be disturbing to readers.