부분의 합 이상의 의미: 다중 모드 혐오 표현 탐지에서의 의도 변화 분석

More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection

소셜 미디어에서의 혐오 표현 퇴치는 사이버 공간의 안전을 확보하는 데 매우 중요하지만, 자동화된 탐지 시스템의 효율성에 크게 의존합니다. 콘텐츠 형식이 진화함에 따라, 혐오 표현은 단순 텍스트에서 복잡한 다중 모드 표현으로 변화하고 있으며, 이는 암묵적인 공격을 식별하기 어렵게 만듭니다. 그러나 현재 시스템은 이러한 미묘한 경우에 종종 실패하며, 개별 모드의 단순 합산으로는 설명할 수 없는 새로운 의미가 발생하는 다중 모드 콘텐츠를 처리하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 우리는 이분법적 분류를 넘어, 모드 간 상호 작용을 통해 긍정적인 단서로부터 암묵적인 혐오 표현을 구성하거나, 의미 반전을 통해 독성을 중화시키는 의미 의도 변화를 분석합니다. 이러한 세분화된 접근 방식을 바탕으로, 우리는 시각 및 언어 상호 작용을 통해 혐오 표현을 식별하는 벤치마크(H-VLI)를 구축했습니다. 여기서 진정한 의도는 노골적인 시각적 또는 텍스트적 비방이 아닌, 다양한 모드 간의 복잡한 상호 작용에 달려 있습니다. 이러한 복잡한 단서를 효과적으로 분석하기 위해, 우리는 Asymmetric Reasoning via Courtroom Agent DEbate (ARCADE) 프레임워크를 제안합니다. ARCADE는 모델이 판결을 내리기 전에 심층적인 의미 단서를 면밀히 검토하도록 강제하는, 변호사와 검사가 서로 논쟁하는 법정 과정을 시뮬레이션합니다. 광범위한 실험 결과, ARCADE는 H-VLI 벤치마크에서 최첨단 모델보다 훨씬 뛰어난 성능을 보이며, 특히 어려운 암묵적인 경우에 두드러진 성능 향상을 보입니다. 또한, 기존 벤치마크에서도 경쟁력 있는 성능을 유지합니다. 저희의 코드와 데이터는 다음 링크에서 확인할 수 있습니다: https://github.com/Sayur1n/H-VLI

Combating hate speech on social media is critical for securing cyberspace, yet relies heavily on the efficacy of automated detection systems. As content formats evolve, hate speech is transitioning from solely plain text to complex multimodal expressions, making implicit attacks harder to spot. Current systems, however, often falter on these subtle cases, as they struggle with multimodal content where the emergent meaning transcends the aggregation of individual modalities. To bridge this gap, we move beyond binary classification to characterize semantic intent shifts where modalities interact to construct implicit hate from benign cues or neutralize toxicity through semantic inversion. Guided by this fine-grained formulation, we curate the Hate via Vision-Language Interplay (H-VLI) benchmark where the true intent hinges on the intricate interplay of modalities rather than overt visual or textual slurs. To effectively decipher these complex cues, we further propose the Asymmetric Reasoning via Courtroom Agent DEbate (ARCADE) framework. By simulating a judicial process where agents actively argue for accusation and defense, ARCADE forces the model to scrutinize deep semantic cues before reaching a verdict. Extensive experiments demonstrate that ARCADE significantly outperforms state-of-the-art baselines on H-VLI, particularly for challenging implicit cases, while maintaining competitive performance on established benchmarks. Our code and data are available at: https://github.com/Sayur1n/H-VLI