분산에서 불변성으로: 내러티브 그래프 주석을 위한 질적 내용 분석

From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation

뉴스 담론에서 내러티브는 경제 현상, 예를 들어 인플레이션에 대한 대중의 이해를 형성하는 데 중요한 역할을 합니다. 이러한 내러티브를 체계적으로 주석하고 평가하는 것은 자연어 처리(NLP) 분야의 주요 과제 중 하나입니다. 본 연구에서는 질적 내용 분석(QCA)의 원리를 통합하여 주석 오류를 줄임으로써 주석 품질을 우선시하는 내러티브 그래프 주석 프레임워크를 소개합니다. 인플레이션 내러티브를 방향성 비순환 그래프(DAG)로 주석한 데이터셋을 제시하며, 여기서 노드는 사건을 나타내고 에지는 인과 관계를 나타냅니다. 주석 품질을 평가하기 위해, 내러티브 표현 방식(6단계)과 거리 측정 유형(3단계)이 주석자 간 일치도(Krippendorff's α)에 미치는 영향을 조사하기 위해 $6 imes3$ 요인 실험 설계를 사용했습니다. 이를 통해 내러티브 해석에서의 인간 주석 변동(HLV)의 존재를 파악합니다. 분석 결과, (1) 관대한 측정 기준(중첩 기반 거리)은 신뢰도를 과대평가하며, (2) 지역적으로 제약된 표현(예: 한 단계 이웃)은 주석 변동성을 줄이는 것으로 나타났습니다. 본 연구에서 개발한 그래프 기반 Krippendorff's α 주석 및 구현 코드는 공개적으로 제공됩니다. 본 연구의 주석 프레임워크 및 평가 결과는 HLV가 존재하는 그래프 기반 내러티브 주석에 대한 NLP 연구에 실질적인 지침을 제공합니다.

Narratives in news discourse play a critical role in shaping public understanding of economic events, such as inflation. Annotating and evaluating these narratives in a structured manner remains a key challenge for Natural Language Processing (NLP). In this work, we introduce a narrative graph annotation framework that integrates principles from qualitative content analysis (QCA) to prioritize annotation quality by reducing annotation errors. We present a dataset of inflation narratives annotated as directed acyclic graphs (DAGs), where nodes represent events and edges encode causal relations. To evaluate annotation quality, we employed a $6\times3$ factorial experimental design to examine the effects of narrative representation (six levels) and distance metric type (three levels) on inter-annotator agreement (Krippendorrf's $α$), capturing the presence of human label variation (HLV) in narrative interpretations. Our analysis shows that (1) lenient metrics (overlap-based distance) overestimate reliability, and (2) locally-constrained representations (e.g., one-hop neighbors) reduce annotation variability. Our annotation and implementation of graph-based Krippendorrf's $α$ are open-sourced. The annotation framework and evaluation results provide practical guidance for NLP research on graph-based narrative annotation under HLV.