논리적 형식의 한계를 넘어: 오류 분류를 위한 LLM 기반 패턴 추출

Beyond Logical Forms: LLM-Extracted Patterns for Fallacy Classification

오늘날 빠르게 변화하는 정보 시대에서, 논리적 오류는 결함 있는 추론 방식으로서 정보 혼란을 야기합니다. 그러나 종종 오류는 미묘한 형태로 나타나 자동 분류를 복잡하게 만듭니다. 본 연구에서는 추상적인 논리 구조와 문맥 수준의 언어적 단서를 통합하는 것이 오류 분류에 도움이 되는지 조사하고, 대규모 언어 모델(LLM)을 사용하여 오류 예시 및 설명에서 이러한 패턴을 유도적으로 추출하는 프레임워크를 개발합니다. 우리는 다양한 LLM과 실험적인 제로샷 및 원샷 구성에서 이러한 패턴의 효과를 평가하여, 제로샷 기준 성능보다 통계적으로 유의미한 개선을 보였으며 경쟁적인 접근 방식보다 우수한 성능을 나타냅니다. 교차 데이터셋 실험은 일반화 가능성을 검증하며, 데이터 기반 패턴 추출이 논리적 표현을 생성하는 효과적인 방법임을 입증합니다.

In today's fast-paced information era, logical fallacies, defined as defective patterns of reasoning, inevitably contribute to the growth of information disorder. However, often fallacies appear in nuanced forms that complicate automated classification. In this study, we investigate whether merging abstract logical structures with context-level linguistic cues proves beneficial for fallacy classification, developing a framework that inductively extracts such patterns from fallacious examples and their explanations using Large Language Models (LLMs). We evaluate the impact of these patterns across different LLMs and experimental zero- and one-shot configurations, showing statistically significant improvements over zero-shot baselines and outperforming competing approaches. Cross-dataset experiments validate generalization, establishing data-driven pattern extraction as an effective method for generating logical representations.