자가 회귀 학습 과정에서 비정직한 추론은 어떻게 발생하는가? 합성 실험 연구

How Does Unfaithful Reasoning Emerge from Autoregressive Training? A Study of Synthetic Experiments

대규모 언어 모델(LLM)이 생성하는 연쇄적 사고(Chain-of-Thought, CoT) 추론은 종종 비정직한 경향을 보입니다. 즉, 중간 단계에서 논리적 불일치가 발생하거나 최종 답으로 이어지는 인과 관계를 제대로 반영하지 못하는 경우가 있습니다. 방대한 경험적 관찰에도 불구하고, CoT에 대한 근본적인 이해는 부족합니다. 즉, 진실성 있는 CoT 추론이란 무엇이며, 비정직성은 자가 회귀 학습 과정에서 어떻게 발생하는 것일까요? 본 연구에서는 엄격하게 통제된 합성 실험을 통해 이러한 질문들을 탐구합니다. 우리는 작은 트랜스포머 모델을 훈련하여 모듈러 산술 표현식을 단계별로 해결하도록 합니다. 이 작업을 우리는 '산술 표현 추론(Arithmetic Expression Reasoning)'이라고 명명합니다. 연구 결과, 모델은 훈련 데이터의 노이즈 수준이 특정 임계값을 넘지 않는 경우, 근본적인 산술 규칙을 따라가는 진실성 있는 추론을 학습할 수 있음을 확인했습니다. 이는 단순성 편향(simplicity bias)에 기인하는 현상입니다. 노이즈 수준이 높을수록, 훈련 과정은 진실성 있는 단계별 추론에서 비정직한 건너뛰기 추론으로의 전환을 보입니다. 이 중간 단계에서는 예측 엔트로피가 일시적으로 증가하는 혼합 모드가 나타납니다. 메커니즘 분석 결과, 모델은 불일치한 추론 단계를 해결함으로써 내부적인 불확실성을 인코딩하는 방법을 학습하며, 이는 자가 회귀 학습 과정에서 암묵적인 자기 검증(self-verification)이 발생하는 것을 시사합니다.

Chain-of-thought (CoT) reasoning generated by large language models (LLMs) is often unfaithful: intermediate steps can be logically inconsistent or fail to reflect the causal relationship leading to the final answer. Despite extensive empirical observations, a fundamental understanding of CoT is lacking--what constitutes faithful CoT reasoning, and how unfaithfulness emerges from autoregressive training. We study these questions using well-controlled synthetic experiments, training small transformers on noisy data to solve modular arithmetic expressions step by step, a task we term Arithmetic Expression Reasoning. We find that models can learn faithful reasoning that causally follows the underlying arithmetic rules, but only when the training noise is below a critical threshold, a phenomenon attributable to simplicity bias. At higher noise levels, training dynamics exhibit a transition from faithful stepwise reasoning to unfaithful skip-step reasoning via an intermediate mixed mode characterized by a transient increase in prediction entropy. Mechanistic analysis reveals that models learn to encode internal uncertainty by resolving inconsistent reasoning steps, which suggests the emergence of implicit self-verification from autoregressive training.