MemeLens: 밈을 위한 다국어 멀티태스크 시각 언어 모델(VLM)
MemeLens: Multilingual Multitask VLMs for Memes
밈(Meme)은 포함된 텍스트, 이미지, 문화적 맥락 간의 상호작용을 통해 의미가 생성되기 때문에 온라인 의사소통 및 여론 조작의 지배적인 매체입니다. 기존의 밈 연구는 혐오, 여성혐오, 선전, 감정, 유머 등 다양한 작업과 언어에 분산되어 있어 도메인 간 일반화에 한계가 있었습니다. 이러한 문제를 해결하기 위해 본 논문에서는 밈 이해를 위한 통합 다국어 및 멀티태스크 설명 강화 시각 언어 모델(VLM)인 MemeLens를 제안합니다. 우리는 38개의 공개 밈 데이터셋을 통합하고, 데이터셋별 레이블을 유해성, 타겟, 비유적/화용론적 의도, 정서를 아우르는 20개 작업의 공유 분류 체계로 필터링 및 매핑했습니다. 또한 모델링 패러다임, 작업 범주, 데이터셋 전반에 걸친 포괄적인 실증 분석을 제시합니다. 연구 결과, 견고한 밈 이해를 위해서는 멀티모달 학습이 필수적이며, 의미 범주에 따라 상당한 차이가 존재하고, 모델이 통합 환경이 아닌 개별 데이터셋에 대해 미세 조정될 경우 과도한 전문화 문제에 민감한 것으로 나타났습니다. 우리는 연구 커뮤니티를 위해 실험 자원과 데이터셋을 공개할 예정입니다.
Memes are a dominant medium for online communication and manipulation because meaning emerges from interactions between embedded text, imagery, and cultural context. Existing meme research is distributed across tasks (hate, misogyny, propaganda, sentiment, humour) and languages, which limits cross-domain generalization. To address this gap we propose MemeLens, a unified multilingual and multitask explanation-enhanced Vision Language Model (VLM) for meme understanding. We consolidate 38 public meme datasets, filter and map dataset-specific labels into a shared taxonomy of $20$ tasks spanning harm, targets, figurative/pragmatic intent, and affect. We present a comprehensive empirical analysis across modeling paradigms, task categories, and datasets. Our findings suggest that robust meme understanding requires multimodal training, exhibits substantial variation across semantic categories, and remains sensitive to over-specialization when models are fine-tuned on individual datasets rather than trained in a unified setting. We will make the experimental resources and datasets publicly available for the community.
AI Analysis
Korean Summary
Key Innovations
- 38개 데이터셋과 9개 언어를 아우르는 통합된 밈 분석 분류 체계(Taxonomy) 구축 및 데이터 표준화
- 단순 분류를 넘어 판단의 근거를 자연어로 생성하는 '설명 강화(Explanation-Enhanced)' 멀티모달 학습 방법론 적용
- 영어 명령어와 원어(Native Language) 밈 텍스트/라벨을 결합한 하이브리드 인스트럭션(Hybrid Instruction) 전략을 통한 다국어 처리 능력 최적화
- 단일 데이터셋 학습 대비 통합 멀티태스크 학습의 강건함과 일반화 성능 우위를 입증하는 대규모 벤치마크 수행
Learning & Inference Impact
학습 과정에서는 다양한 데이터셋을 통합하여 멀티태스크로 학습함으로써, 모델이 특정 데이터셋의 편향에 과적합(Over-specialization)되는 것을 방지하고 데이터셋 간의 공통된 의미론적 패턴을 학습하도록 유도합니다. 또한, GPT-4.1을 통해 생성된 고품질의 설명(Explanation) 데이터를 학습의 보조 목표로 활용하여 모델의 내부 표현력을 정교화합니다. 추론 단계에서는 이미지와 텍스트의 상호작용(예: 텍스트는 긍정적이나 이미지는 부정적인 풍자 등)을 깊이 있게 해석하여 분류 정확도를 높이며, 분류 결과와 함께 논리적인 설명을 제공함으로써 사용자가 모델의 판단을 이해하고 신뢰할 수 있게 합니다.
Technical Difficulty
Estimated implementation complexity based on methodology.