대규모 언어 모델의 명제 논리 추론에 대한 기계론적 이해

Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models

대규모 언어 모델(LLM)이 내부적으로 어떻게 논리적 추론을 수행하는지 이해하는 것은 여전히 근본적인 과제로 남아 있습니다. 이전의 기계론적 연구들은 작업 특화 회로를 식별하는 데 초점을 맞추었으나, LLM이 명제 추론을 위해 어떤 계산 전략을 사용하는지에 대한 의문은 미해결 상태로 남겨두었습니다. 우리는 1홉 및 2홉 추론에 걸친 11가지 명제 논리 규칙 범주를 포함하는 통제된 데이터셋인 PropLogic-MI를 사용하여, Qwen3(8B 및 14B)에 대한 포괄적인 분석을 통해 이러한 연구의 공백을 다룹니다. 우리는 '어떤 구성 요소가 필요한가'라고 묻는 대신, '모델이 계산을 어떻게 조직화하는가'라는 질문을 던집니다. 우리의 분석은 네 가지 서로 맞물리는 메커니즘으로 구성된 일관된 계산 아키텍처를 밝혀냈습니다. 이는 단계적 계산(레이어별 처리 단계), 정보 전송(경계 토큰에서의 정보 흐름 집계), 사실 회고(소스 사실에 대한 지속적인 재접근), 그리고 특화된 어텐션 헤드(기능적으로 구별되는 헤드 유형)입니다. 이러한 메커니즘들은 모델 규모, 규칙 유형, 추론 깊이에 걸쳐 일반화되며, 이는 LLM이 논리적 추론을 위해 구조화된 계산 전략을 사용한다는 기계론적 증거를 제공합니다.

Understanding how Large Language Models (LLMs) perform logical reasoning internally remains a fundamental challenge. While prior mechanistic studies focus on identifying taskspecific circuits, they leave open the question of what computational strategies LLMs employ for propositional reasoning. We address this gap through comprehensive analysis of Qwen3 (8B and 14B) on PropLogic-MI, a controlled dataset spanning 11 propositional logic rule categories across one-hop and two-hop reasoning. Rather than asking ''which components are necessary,'' we ask ''how does the model organize computation?'' Our analysis reveals a coherent computational architecture comprising four interlocking mechanisms: Staged Computation (layer-wise processing phases), Information Transmission (information flow aggregation at boundary tokens), Fact Retrospection (persistent re-access of source facts), and Specialized Attention Heads (functionally distinct head types). These mechanisms generalize across model scales, rule types, and reasoning depths, providing mechanistic evidence that LLMs employ structured computational strategies for logical reasoning.