사고 과정(Chain-of-Thought)을 넘어선 추론: 대규모 언어 모델 내 잠재적인 계산 모드

Reasoning Beyond Chain-of-Thought: A Latent Computational Mode in Large Language Models

사고 과정(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 성능을 향상시켰지만, 왜 효과적인지, 그리고 이것이 LLM에서 추론을 유발하는 유일한 메커니즘인지에 대한 명확성은 여전히 부족합니다. 본 연구에서는 희소 오토인코더(Sparse Autoencoders, SAE)를 사용하여 LLM의 내부 표현을 직접 분석하고 개입하여, LLM의 추론 행동과 인과적으로 관련된 작은 집합의 잠재 변수를 식별함으로써 이 질문에 대한 답을 찾고자 합니다. 다양한 모델 패밀리와 추론 벤치마크를 통해, 단일의 추론 관련 잠재 변수를 조작하는 것만으로도 명시적인 CoT 프롬프팅 없이 정확도를 크게 향상시킬 수 있음을 확인했습니다. 대규모 모델의 경우, 잠재 변수 조작은 표준 CoT 프롬프팅과 유사한 성능을 달성하면서도 더 효율적인 결과를 생성합니다. 또한, 이러한 추론 지향적인 내부 상태는 생성 과정 초기에 활성화되며, 명시적인 추론을 억제하는 프롬프트 수준의 지시 사항을 무효화할 수 있습니다. 전반적으로, 본 연구의 결과는 LLM에서의 다단계 추론이 외부에서 활성화될 수 있는 잠재적인 내부 활성화에 의해 지원된다는 것을 시사하며, CoT 프롬프팅은 이 메커니즘을 활성화하는 효과적인 방법 중 하나이지만, 필수적인 원인은 아니라는 것을 보여줍니다.

Chain-of-Thought (CoT) prompting has improved the reasoning performance of large language models (LLMs), but it remains unclear why it works and whether it is the unique mechanism for triggering reasoning in large language models. In this work, we study this question by directly analyzing and intervening on the internal representations of LLMs with Sparse Autoencoders (SAEs), identifying a small set of latent features that are causally associated with LLM reasoning behavior. Across multiple model families and reasoning benchmarks, we find that steering a single reasoning-related latent feature can substantially improve accuracy without explicit CoT prompting. For large models, latent steering achieves performance comparable to standard CoT prompting while producing more efficient outputs. We further observe that this reasoning-oriented internal state is triggered early in generation and can override prompt-level instructions that discourage explicit reasoning. Overall, our results suggest that multi-step reasoning in LLMs is supported by latent internal activations that can be externally activated, while CoT prompting is one effective, but not unique, way of activating this mechanism rather than its necessary cause.