잠재적 사고 사슬 내의 역학: 인과 구조에 대한 실증 연구

Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure

잠재적 또는 연속적 사고 사슬(Chain-of-Thought) 방법론은 명시적인 텍스트 근거를 다수의 내부 잠재 단계로 대체하지만, 이러한 중간 연산 과정은 상관관계 기반의 탐침(probe) 이외의 방법으로는 평가하기 어렵다. 본 논문에서는 잠재 단계를 구조적 인과 모델(SCM)의 변수로 모델링하고 단계별 do-개입을 통해 그 효과를 분석함으로써, 잠재적 사고 사슬을 표현 공간 내에서 조작 가능한 인과 과정으로 바라본다. 우리는 수학 및 일반 추론 과제에서 두 가지 대표적인 패러다임(즉, Coconut과 CODI)을 연구하여 세 가지 핵심 질문을 고찰한다. (1) 정답을 맞추는 데 인과적으로 필수적인 단계는 무엇이며 언제 답이 조기에 결정 가능한가? (2) 영향력은 단계 전반에 걸쳐 어떻게 전파되며, 이러한 구조는 명시적 CoT와 어떻게 비교되는가? (3) 중간 궤적들이 서로 경쟁하는 정답 모드(answer modes)를 유지하고 있는가, 그리고 출력 수준의 확정(commitment)은 단계별 표현적 확정과 어떻게 다른가? 연구 결과, 잠재 단계 예산은 단순하고 균질한 깊이의 추가라기보다는 비국소적 라우팅을 포함한 단계별 기능처럼 동작한다는 사실을 발견했으며, 초기 출력 편향과 후기 표현적 확정 사이에 지속적인 차이가 있음을 확인했다. 이러한 결과는 잠재적 추론 시스템을 해석하고 개선하기 위한 더 신뢰할 수 있는 도구로서 모드 조건부 분석 및 안정성 인식 분석(그리고 이에 상응하는 학습/디코딩 목표)의 필요성을 시사한다.

Latent or continuous chain-of-thought methods replace explicit textual rationales with a number of internal latent steps, but these intermediate computations are difficult to evaluate beyond correlation-based probes. In this paper, we view latent chain-of-thought as a manipulable causal process in representation space by modeling latent steps as variables in a structural causal model (SCM) and analyzing their effects through step-wise $\mathrm{do}$-interventions. We study two representative paradigms (i.e., Coconut and CODI) on both mathematical and general reasoning tasks to investigate three key questions: (1) which steps are causally necessary for correctness and when answers become decidable early; (2) how does influence propagate across steps, and how does this structure compare to explicit CoT; and (3) do intermediate trajectories retain competing answer modes, and how does output-level commitment differ from representational commitment across steps. We find that latent-step budgets behave less like homogeneous extra depth and more like staged functionality with non-local routing, and we identify a persistent gap between early output bias and late representational commitment. These results motivate mode-conditional and stability-aware analyses -- and corresponding training/decoding objectives -- as more reliable tools for interpreting and improving latent reasoning systems.