NTS-CoT: 체인 오브 소트 사고 추론을 활용하여 LLM 기반 뉴스 타임라인 요약에서 발생하는 환각 현상 완화

NTS-CoT: Mitigating Hallucinations in LLM-based News Timeline Summarization with Chain-of-Thought Reasoning

온라인 뉴스의 빠른 업데이트는 사건의 전개를 파악하는 데 어려움을 야기하며, 이에 대한 해결책으로 타임라인 요약(TLS) 기술이 필요합니다. LLM 기반 TLS에서 발생하는 환각 현상은 아직 중요한 문제이며, 기존 연구에서는 충분히 다루어지지 않았습니다. 본 연구에서는 이러한 격차를 해소하기 위해 뉴스 요약 과정에서의 사실과 다른 내용 생성 및 날짜-사건 요약 과정에서의 정보 누락이라는 두 가지 주요 유형의 환각 현상을 식별했습니다. 이를 바탕으로, 체인 오브 소트(CoT) 추론을 활용하여 TLS에서 발생하는 환각 현상을 완화하는 새로운 프레임워크인 NTS-CoT를 제안합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성됩니다. 첫째, 사실에 기반한 요약을 위해 뉴스 요소의 핵심 내용을 파악하는 Element-CoT, 둘째, 시간적 중요성과 사건의 중요성을 결합하여 타임스탬프를 선택하는 Date Selection, 셋째, 인과 관계 추론을 통해 정보 누락을 줄이는 Causal-CoT입니다. 세 가지 TLS 벤치마크에 대한 정량적 분석 및 사용자 평가를 포함한 광범위한 실험 결과, NTS-CoT가 기존의 최첨단 모델보다 우수한 성능을 보이며 환각 현상을 효과적으로 완화하고 LLM 기반 TLS의 성능을 향상시키는 것을 입증했습니다. 저희 연구의 소스 코드는 https://anonymous.4open.science/r/NTS-CoT 에서 확인할 수 있습니다.

The rapid updates of online news make tracking event developments challenging, highlighting the need for timeline summarization (TLS). Hallucinations, where LLM-generated content deviates from source news, still remain a critical issue in LLM-based TLS and are not well studied in existing works. To bridge this gap, we identify two primary types of hallucinations: unfaithful content during news summarization and information omission in date-event summarization. Then, we propose NTS-CoT, a novel framework that leverages Chain-of-Thought (CoT) reasoning to mitigate hallucinations in TLS. The framework consists of three key modules: i) Element-CoT to capture essential news elements for faithful summarization, ii) Date Selection to combine temporal saliency and event prominence for timestamp selection, and iii) Causal-CoT to infer causal relationships and reduce omissions in date-event summarization. Extensive experiments, including quantitative analysis on three TLS benchmarks and human evaluation, demonstrate that NTS-CoT outperforms state-of-the-art baselines, effectively mitigating hallucinations and improving LLM-based TLS performance. Our source code is available at https://anonymous.4open.science/r/NTS-CoT .