MoCA: 암묵적 사회 맥락 분석

MoCA: Implicit Social Context Analysis

애정이나 의도와 같은 인간의 사회적 소통은 종종 매우 간접적인 방식으로 전달되며, 명시적인 진술보다는 사회적, 문화적으로 기반한 간접적인 신호를 통해 내재된 의미가 표현됩니다. 이러한 암묵적 사회 맥락은 실제 상호 작용에서 널리 나타나지만, 이를 체계적으로 연구할 수 있는 공식적인 프레임워크는 아직 부족합니다. 본 논문에서는 암묵적 사회 맥락 분석(MoCA)이라는 새로운 방법을 소개하며, 이는 애정, 의도 및 관점의 세 가지 핵심 차원을 따라 암묵적 사회 시나리오를 체계적으로 모델링하는 작업입니다. 우리는 실제 출처에서 수집된 3,108개의 멀티모달 데이터로 구성된 고품질 벤치마크를 구축했으며, 미세하게 조정된 인지 주석을 통해 누가 누구에게 무엇을 표현하고, 어떻게 그리고 왜 전달되는지를 명확히 보여줍니다. MoCA 데이터셋을 사용하여 최첨단 멀티모달 대규모 언어 모델이 암묵적인 단서에 대한 의존성이 높고 잠재적인 사회 맥락에 대한 추론 능력이 제한되어 있어 이 작업에서 상당한 어려움을 겪는다는 것을 확인했습니다. 이러한 과제를 해결하기 위해, 우리는 관찰된 표현과 예상되는 진실된 행동 간의 불일치를 인지적 갈등으로 모델링하여 숨겨진 정신 상태를 추론할 수 있는 새로운 프레임워크인 Conflict-Driven Abductive Reasoning (CoDAR)을 제안합니다. 광범위한 실험 결과, CoDAR이 모델 성능을 크게 향상시키는 것으로 나타났습니다. 그러나 인간의 사고 방식과의 격차는 여전히 크며, 이는 암묵적인 사회적 이해의 근본적인 어려움을 강조합니다.

Human social communication, such as affection and intent, is often conveyed in highly implicit ways, where underlying meanings are expressed through indirect, socially and culturally grounded signals rather than explicit statements. Such implicit social contexts are pervasive in real-world interactions, yet there remains a lack of a formal and systematic framework for studying them. In this paper, we introduce Implicit Social Context Analysis (MoCA), a novel task that systematically models implicit social scenarios along three key dimensions: affection, intent, and stance. We construct a high-quality benchmark containing 3,108 multimodal instances collected from real-world sources, with fine-grained cognitive annotations revealing who expresses what toward whom, as well as how and why it is conveyed. Using the MoCA dataset, we show that state-of-the-art multimodal large language models struggle significantly with this task because of their reliance on explicit cues and limited ability to reason over latent social contexts. To address this challenge, we propose Conflict-Driven Abductive Reasoning (CoDAR), a novel framework that models the discrepancy between observed expressions and expected truthful behavior as cognitive conflict, thereby enabling the inference of hidden mental states. Extensive experiments demonstrate that CoDAR substantially improves model performance. Nevertheless, a large gap from human reasoning remains, highlighting the fundamental difficulty of implicit social understanding.