LLM에서 파생된 추상화를 활용하여 이야기 속의 유추적 추론을 향상시키는 구조 매핑 방법

Enhancing Structural Mapping with LLM-derived Abstractions for Analogical Reasoning in Narratives

유추적 추론은 문제 해결 및 논증에서 인간의 일반화 능력을 이끄는 핵심 요소입니다. 하지만 이야기 구조 간의 유추는 기계에게 여전히 어려운 과제입니다. 기존의 구조 매핑 엔진은 사전에 추출된 개체를 전제로 하기 때문에 직접 적용하기 어렵고, LLM의 성능은 프롬프트 형식 및 이야기 간의 표면적 유사성에 따라 달라집니다. 이러한 간극은 다음과 같은 중요한 질문을 제기합니다. LLM에서 파생된 추상화를 활용하여 구조 매핑을 향상시키는 것이 이야기 속의 유추적 추론 능력에 어떤 영향을 미칠까요? 이에 대한 답으로, 우리는 LLM을 사용하여 이야기를 단위로 분해하고, 이러한 단위를 추상화한 다음, 매핑 구성 요소에 전달하여 스토리 간의 요소를 정렬하고 유추적 추론을 수행하는 모듈형 프레임워크인 YARN(Yielding Abstractions for Reasoning in Narratives)을 제안합니다. 우리는 프레임 이론에 기반하여 이야기의 일반적인 의미와 역할 모두를 포착하는 추상화의 네 가지 수준을 정의하고 구현했습니다. 우리의 실험 결과, 추상화는 모델 성능을 지속적으로 향상시켜, 엔드 투 엔드 LLM 기준 모델보다 경쟁력 있는 또는 더 나은 성능을 보였습니다. 자세한 오류 분석 결과, 적절한 수준의 추상화, 암묵적인 인과 관계의 통합, 그리고 이야기 속의 유추 패턴에 대한 새로운 분류 등 아직 해결해야 할 과제들이 남아 있음을 알 수 있습니다. YARN은 실험 설정을 체계적으로 변경하여 구성 요소의 기여도를 분석할 수 있도록 지원하며, 향후 연구를 위해 YARN의 코드를 공개적으로 제공합니다.

Analogical reasoning is a key driver of human generalization in problem-solving and argumentation. Yet, analogies between narrative structures remain challenging for machines. Cognitive engines for structural mapping are not directly applicable, as they assume pre-extracted entities, whereas LLMs' performance is sensitive to prompt format and the degree of surface similarity between narratives. This gap motivates a key question: What is the impact of enhancing structural mapping with LLM-derived abstractions on their analogical reasoning ability in narratives? To that end, we propose a modular framework named YARN (Yielding Abstractions for Reasoning in Narratives), which uses LLMs to decompose narratives into units, abstract these units, and then passes them to a mapping component that aligns elements across stories to perform analogical reasoning. We define and operationalize four levels of abstraction that capture both the general meaning of units and their roles in the story, grounded in prior work on framing. Our experiments reveal that abstractions consistently improve model performance, resulting in competitive or better performance than end-to-end LLM baselines. Closer error analysis reveals the remaining challenges in abstraction at the right level, in incorporating implicit causality, and an emerging categorization of analogical patterns in narratives. YARN enables systematic variation of experimental settings to analyze component contributions, and to support future work, we make the code for YARN openly available.