LitVISTA: 문학 텍스트의 서사 구성 능력을 평가하기 위한 벤치마크

LitVISTA: A Benchmark for Narrative Orchestration in Literary Text

계산적 서사 분석은 문학 텍스트에서 리듬, 긴장감, 그리고 감정적 흐름을 파악하는 것을 목표로 합니다. 기존의 대규모 언어 모델은 긴 이야기를 생성할 수 있지만, 인과적 일관성에 지나치게 집중하여 인간의 서사에서 나타나는 복잡한 이야기 흐름과 구성 원리를 간과하는 경향이 있습니다. 이는 모델이 생성한 서사와 인간이 생성한 서사 간의 구조적 불일치를 야기합니다. 본 연구에서는 인간과 모델의 서사 관점을 통합하는 고차원적 표현 프레임워크인 VISTA Space를 제안합니다. 또한, 문학 텍스트를 기반으로 구조적으로 주석이 달린 벤치마크인 LitVISTA를 소개하여 모델의 서사 구성 능력을 체계적으로 평가할 수 있도록 합니다. GPT, Claude, Grok, 그리고 Gemini를 포함한 다양한 최첨단 LLM에 대한 실험을 통해, 기존 모델이 통합적인 전체 서사 관점을 구축하는 데 어려움을 겪으며, 서사 기능과 구조를 동시에 파악하는 데 미흡함을 확인했습니다. 더욱이, 발전된 추론 방식조차도 이러한 문학적 서사 이해에 있어 제한적인 개선 효과만을 가져왔습니다.

Computational narrative analysis aims to capture rhythm, tension, and emotional dynamics in literary texts. Existing large language models can generate long stories but overly focus on causal coherence, neglecting the complex story arcs and orchestration inherent in human narratives. This creates a structural misalignment between model- and human-generated narratives. We propose VISTA Space, a high-dimensional representational framework for narrative orchestration that unifies human and model narrative perspectives. We further introduce LitVISTA, a structurally annotated benchmark grounded in literary texts, enabling systematic evaluation of models' narrative orchestration capabilities. We conduct oracle evaluations on a diverse selection of frontier LLMs, including GPT, Claude, Grok, and Gemini. Results reveal systematic deficiencies: existing models fail to construct a unified global narrative view, struggling to jointly capture narrative function and structure. Furthermore, even advanced thinking modes yield only limited gains for such literary narrative understanding.