삼단논법적 탐침: 대규모 언어 모델의 논리적 추론 진화 추적

A Syllogistic Probe: Tracing the Evolution of Logic Reasoning in Large Language Models

인간의 논리는 직관 주도적 추론에서 엄밀한 형식 체계로 점진적으로 변화해 왔습니다. 최근 대규모 언어 모델(LLM)의 발전에 힘입어, 본 연구에서는 LLM이 기저 논리 프레임워크에서 이와 유사한 진화 양상을 보이는지 탐구합니다. 실재 함축(existential import)을 탐침으로 사용하여 전통 논리학과 현대 논리학 하에서 삼단논법을 평가했습니다. 새로운 삼단논법 데이터셋으로 최신(SOTA) LLM을 테스트하는 광범위한 실험을 통해 다음과 같은 흥미로운 사실을 발견했습니다. (i) 모델 크기가 커질수록 현대 논리로의 전환이 촉진됩니다. (ii) 사고(Thinking) 과정은 파라미터 확장을 넘어 효율적인 가속기 역할을 합니다. (iii) 기반 모델(Base model)은 이러한 전환이 얼마나 쉽고 안정적으로 나타나는지 결정하는 데 중요한 역할을 합니다. 이러한 핵심 요인 외에도, 본 연구는 삼단논법적 추론에 대한 현행 LLM의 특성을 심층 분석하기 위해 추가 실험을 수행합니다.

Human logic has gradually shifted from intuition-driven inference to rigorous formal systems. Motivated by recent advances in large language models (LLMs), we explore whether LLMs exhibit a similar evolution in the underlying logical framework. Using existential import as a probe, we for evaluate syllogism under traditional and modern logic. Through extensive experiments of testing SOTA LLMs on a new syllogism dataset, we have some interesting findings: (i) Model size scaling promotes the shift toward modern logic; (ii) Thinking serves as an efficient accelerator beyond parameter scaling; (iii) the Base model plays a crucial role in determining how easily and stably this shift can emerge. Beyond these core factors, we conduct additional experiments for in-depth analysis of properties of current LLMs on syllogistic reasoning.