CHASM: 중국 소셜 미디어의 은밀한 광고 탐색

CHASM: Unveiling Covert Advertisements on Chinese Social Media

현재의 대규모 언어 모델(LLM) 평가 지표는 소셜 미디어 관리 분야에서 심각한 위협인 '은밀한 광고'를 완전히 간과하고 있습니다. 은밀한 광고는 일반 게시글로 위장하여 소비자를 기만하고 구매를 유도하며, 이는 심각한 윤리적 및 법적 문제를 야기합니다. 본 논문에서는 중국 소셜 미디어 플랫폼인 Rednote에서 수집된 실제 시나리오를 기반으로, 멀티모달 대규모 언어 모델(MLLM)의 은밀한 광고 탐지 능력을 평가하기 위해 설계된 최초의 데이터셋인 CHASM을 제시합니다. CHASM은 엄격한 개인 정보 보호 및 품질 관리 절차 하에 수집 및 큐레이션된 4,992개의 고품질, 익명화된 데이터셋으로 구성되어 있으며, 특히 은밀한 광고와 유사한 제품 사용 후기 게시물이 많이 포함되어 있어 데이터셋의 난이도를 높입니다. 실험 결과, 제로샷 및 인컨텍스트 학습 환경 모두에서 현재의 MLLM은 은밀한 광고 탐지에 충분히 신뢰할 수 있는 성능을 보이지 않습니다. 추가 실험 결과, 오픈 소스 MLLM을 CHASM 데이터셋으로 미세 조정했을 때 성능이 향상되었지만, 댓글에 나타나는 미묘한 단서나 시각 및 텍스트 구조의 차이점을 감지하는 데 여전히 상당한 어려움이 존재합니다. 본 논문에서는 심층적인 오류 분석을 제공하고 향후 연구 방향을 제시합니다. 본 연구가 연구 커뮤니티 및 플랫폼 관리자들에게 이 새로운 위협에 대한 더욱 정교한 방어 시스템 개발을 촉구하는 계기가 되기를 바랍니다.

Current benchmarks for evaluating large language models (LLMs) in social media moderation completely overlook a serious threat: covert advertisements, which disguise themselves as regular posts to deceive and mislead consumers into making purchases, leading to significant ethical and legal concerns. In this paper, we present the CHASM, a first-of-its-kind dataset designed to evaluate the capability of Multimodal Large Language Models (MLLMs) in detecting covert advertisements on social media. CHASM is a high-quality, anonymized, manually curated dataset consisting of 4,992 instances, based on real-world scenarios from the Chinese social media platform Rednote. The dataset was collected and annotated under strict privacy protection and quality control protocols. It includes many product experience sharing posts that closely resemble covert advertisements, making the dataset particularly challenging.The results show that under both zero-shot and in-context learning settings, none of the current MLLMs are sufficiently reliable for detecting covert advertisements.Our further experiments revealed that fine-tuning open-source MLLMs on our dataset yielded noticeable performance gains. However, significant challenges persist, such as detecting subtle cues in comments and differences in visual and textual structures.We provide in-depth error analysis and outline future research directions. We hope our study can serve as a call for the research community and platform moderators to develop more precise defenses against this emerging threat.