SERE: 구조적 예시 검색을 통한 이벤트 인과 관계 식별 능력 향상을 위한 LLM 개선

SERE: Structural Example Retrieval for Enhancing LLMs in Event Causality Identification

이벤트 인과 관계 식별(ECI)은 모델이 주어진 문맥 내에서 두 이벤트 간에 인과 관계가 존재하는지 판단하는 것을 요구합니다. 대규모 언어 모델(LLM)은 다양한 자연어 처리 작업에서 강력한 성능을 보여주었지만, 인과적 추론에 내재된 편향으로 인해 ECI에서의 효과는 제한적이며, 종종 인과 관계를 과도하게 예측하는 현상(인과적 환각)을 야기합니다. 이러한 문제를 완화하고 ECI에서 LLM의 성능을 향상시키기 위해, 우리는 LLM의 few-shot 학습 능력을 활용하는 구조적 예시 검색 프레임워크인 SERE를 제안합니다. SERE는 다음과 같은 세 가지 구조적 개념을 기반으로 혁신적인 검색 메커니즘을 도입합니다. (i) 개념 경로 메트릭: ConceptNet에서 편집 거리를 사용하여 이벤트 간의 개념적 관계를 측정합니다. (ii) 구문 메트릭: 구문 트리에 대한 트리 편집 거리를 통해 구조적 유사성을 정량화합니다. (iii) 인과 패턴 필터링: LLM을 사용하여 미리 정의된 인과 구조를 기반으로 예시를 필터링합니다. 이러한 구조적 검색 전략을 통합함으로써 SERE는 LLM이 인과적 추론을 수행하는 데 필요한 더 관련성 높은 예시를 선택하여 편향을 완화하고 ECI 작업의 정확도를 향상시킵니다. 여러 ECI 데이터 세트에 대한 광범위한 실험을 통해 SERE의 효과가 입증되었습니다. 소스 코드는 다음 주소에서 공개적으로 이용할 수 있습니다: https://github.com/DMIRLAB-Group/SERE.

Event Causality Identification (ECI) requires models to determine whether a given pair of events in a context exhibits a causal relationship. While Large Language Models (LLMs) have demonstrated strong performance across various NLP tasks, their effectiveness in ECI remains limited due to biases in causal reasoning, often leading to overprediction of causal relationships (causal hallucination). To mitigate these issues and enhance LLM performance in ECI, we propose SERE, a structural example retrieval framework that leverages LLMs' few-shot learning capabilities. SERE introduces an innovative retrieval mechanism based on three structural concepts: (i) Conceptual Path Metric, which measures the conceptual relationship between events using edit distance in ConceptNet; (ii) Syntactic Metric, which quantifies structural similarity through tree edit distance on syntactic trees; and (iii) Causal Pattern Filtering, which filters examples based on predefined causal structures using LLMs. By integrating these structural retrieval strategies, SERE selects more relevant examples to guide LLMs in causal reasoning, mitigating bias and improving accuracy in ECI tasks. Extensive experiments on multiple ECI datasets validate the effectiveness of SERE. The source code is publicly available at https://github.com/DMIRLAB-Group/SERE.