StanceFlip: 다중 모달 대화형 태도 변화 예측을 위한 포괄적인 다차원 벤치마크

StanceFlip: A Comprehensive Multi-Dimensional Benchmark for Multimodal Conversational Stance Flipping Forecasting

대화형 태도 감지는 정적 텍스트 분석에서 동적인 다중 모달 모델링으로 전환되었습니다. 그러나 기존 벤치마크는 다음과 같은 세 가지 주요한 한계를 가지고 있습니다: 첫째, 특히 태도 변화 과정에서의 신념의 역동적인 변화를 제대로 반영하지 못하고, 둘째, 감정 상태와 논리적 추론을 분리하는 데 어려움을 겪으며, 셋째, 반어법과 같은 화용적 모호성을 해결하는 데 중요한 다중 모달 단서의 역할을 간과합니다. 이러한 한계를 극복하기 위해, 우리는 5가지 모달리티 및 다양한 시나리오에서 다중 턴 대화를 통해 다중 모달 대화형 태도 변화 예측을 위한 벤치마크인 StanceFlip을 제안합니다. 이는 다음과 같은 두 가지 새로운 하위 작업으로 구성됩니다: 1) Multimodal Stance Sextuple Extraction (다중 모달 태도 육각형 추출): 대화의 정적 상태 스냅샷에서 주체, 대상, 감정, 감성, 태도 및 근거를 추출하여 미세한 인지 구조를 파악하고, 2) Dynamic Stance Flip Attribution (동적 태도 변화 귀속): 대화를 통해 태도 변화를 추적하고 그 이면에 숨겨진 요인을 식별합니다. 데이터셋과 함께, 우리는 다중 모달 대화형 태도 변화 예측(MCSFF)을 위한 전용 프레임워크인 ConStaFF를 제안합니다. 대규모 언어 모델을 기반으로 하는 ConStaFF는 Thought-of-Stance (ToS) 추론 프레임워크와 구조화된 태도 모델링 및 신뢰할 수 있는 변화 귀속을 위해 자가 검증 메커니즘을 통합하여 엔드 투 엔드 태도 추론을 수행합니다. 특히, ToS는 추론 과정을 전문적인 인지 페르소나로 분해하여 대상 명제를 구성하고, 다중 모달 간의 충돌을 해결하며, 과거의 태도 변화 경향을 추론합니다. 광범위한 실험 결과, 제안하는 접근 방식은 육각형 추출 및 변화 요인 귀속 모두에서 최첨단 성능을 달성했으며, 강력한 다중 모달 대규모 언어 모델 기준보다 상당한 우위를 보였습니다.

Conversational stance detection has shifted from static text analysis to dynamic multimodal modeling. However, existing benchmarks exhibit three key limitations: failure to capture the dynamic evolution of beliefs, particularly during stance reversals; difficulty in disentangling affective states from logical reasoning; and neglect of the critical role of multimodal cues in resolving pragmatic ambiguities such as sarcasm. To address these limitations, we propose StanceFlip, a benchmark designed for multimodal conversational stance flipping forecasting over multi-turn dialogues across five modalities and multi-scenarios, which includes two novel subtasks: 1) Multimodal Stance Sextuple Extraction, extracting holder, target, emotion, sentiment, stance, and rationale as static state snapshots of dialogue to capture fine-grained cognitive structures. 2) Dynamic Stance Flip Attribution, tracking stance reversals across the conversation and identifying their underlying triggers. Alongside the dataset, we propose a dedicated framework, named ConStaFF, for Multimodal Conversational Stance Flipping Forecasting (MCSFF). Built upon a large language model, ConStaFF performs end-to-end stance reasoning, with a Thought-of-Stance (ToS) reasoning framework and a self-reflective verification mechanism integrated for structured stance modeling and faithful flip attribution. Specifically, ToS decomposes the reasoning process into specialized cognitive personas to formulate target propositions, resolve cross-modal conflicts, and infer historical stance trajectories. Extensive experiments show that our approach achieves state-of-the-art performance on both sextuple extraction and flip-trigger attribution, outperforming strong multimodal large language model baselines by substantial margins.