멀티미디어 환경에서의 허위 정보 탐지에서 시각 콘텐츠 조작의 중요성

Harmful Visual Content Manipulation Matters in Misinformation Detection Under Multimedia Scenarios

최근 다양한 소셜 미디어 플랫폼을 통해 허위 정보가 광범위하게 확산되면서 사회에 심각한 부정적인 영향을 미치고 있습니다. 이러한 문제에 대응하기 위해, 특히 멀티미디어 환경에서 허위 정보를 자동으로 탐지하는 연구가 학계 및 산업계 모두에서 큰 관심을 받고 있으며, 이는 '멀티모달 허위 정보 탐지(MMD)'라는 연구 과제로 이어지고 있습니다. 일반적으로 현재의 MMD 접근 방식은 다양한 모달리티 간의 의미적 관계 및 불일치를 파악하는 데 중점을 두지만, 멀티모달 콘텐츠 내의 중요한 지표들을 종종 간과합니다. 최근 연구에 따르면, 소셜 미디어 기사 내 시각 콘텐츠에 포함된 조작된 특징들은 MMD에 유용한 단서가 됩니다. 또한, 본 연구에서는 조작의 잠재적인 의도, 즉 유해하거나 무해한 의도 역시 MMD에서 중요한 요소라고 주장합니다. 따라서 본 연구에서는 조작 특징(시각 콘텐츠가 조작되었는지 여부를 나타냄)과 의도 특징(조작의 성격을 평가하며, 유해 의도와 무해 의도를 구분)이라는 두 가지 유형의 특징을 활용하여 멀티모달 허위 정보를 식별하는 것을 목표로 합니다. 불행히도, 이러한 특징을 효과적으로 학습시키기 위한 조작 및 의도 레이블은 현재 알려져 있지 않습니다. 이를 해결하기 위해, 이미지 조작 탐지에 중점을 둔 보조 데이터셋을 활용하여 두 가지 약지도 학습 방법을 제안합니다. 제안된 프레임워크를 통해, '멀티모달 허위 정보 탐지에서 시각 콘텐츠 조작의 중요성(HAVC-M4 D)'이라는 새로운 MMD 접근 방식을 제시합니다. 널리 사용되는 네 가지 MMD 데이터셋에 대한 종합적인 실험 결과는 HAVC-M4 D가 기존 MMD 방법의 성능을 크게 향상시키고 일관된 결과를 제공한다는 것을 보여줍니다.

Nowadays, the widespread dissemination of misinformation across numerous social media platforms has led to severe negative effects on society. To address this challenge, the automatic detection of misinformation, particularly under multimedia scenarios, has gained significant attention from both academic and industrial communities, leading to the emergence of a research task known as Multimodal Misinformation Detection (MMD). Typically, current MMD approaches focus on capturing the semantic relationships and inconsistency between various modalities but often overlook certain critical indicators within multimodal content. Recent research has shown that manipulated features within visual content in social media articles serve as valuable clues for MMD. Meanwhile, we argue that the potential intentions behind the manipulation, e.g., harmful and harmless, also matter in MMD. Therefore, in this study, we aim to identify such multimodal misinformation by capturing two types of features: manipulation features, which represent if visual content has been manipulated, and intention features, which assess the nature of these manipulations, distinguishing between harmful and harmless intentions. Unfortunately, the manipulation and intention labels that supervise these features to be discriminative are unknown. To address this, we introduce two weakly supervised indicators as substitutes by incorporating supplementary datasets focused on image manipulation detection and framing two different classification tasks as positive and unlabeled learning issues. With this framework, we introduce an innovative MMD approach, titled Harmful Visual Content Manipulation Matters in MMD (HAVC-M4 D). Comprehensive experiments conducted on four prevalent MMD datasets indicate that HAVC-M4 D significantly and consistently enhances the performance of existing MMD methods.