추론을 위한 CoT의 잠재력: 트레이스 역학(Trace Dynamics)에 대한 심층 고찰

The Potential of CoT for Reasoning: A Closer Look at Trace Dynamics

생각의 사슬(Chain-of-thought, CoT) 프롬프팅은 거대언어모델(LLM)이 최종 답변을 제시하기 전에 개별 단계를 상세히 서술하게 함으로써 추론과 유사한 응답을 유도하는 사실상의 표준 기술입니다. 인간의 추론과 유사하다는 점은 부인할 수 없으나, CoT 추론의 성공을 뒷받침하는 원동력은 여전히 불분명합니다. 본 연구에서는 CoT의 어떤 부분이 어떻게 최종 정답에 기여하는지 더 잘 이해하기 위해, 경시대회 수준의 수학 문제에서 생성된 CoT 트레이스를 심층 분석합니다. 이를 위해 우리는 CoT의 특정 부분이 정답 완성의 가능성을 얼마나 높이는지를 정량화하는 '포텐셜(potential)' 개념을 도입합니다. 포텐셜의 관점에서 추론 트레이스를 분석한 결과, (1) (추론의 곁가지로 인한) 빈번하고 강한 비단조성, (2) 매우 날카롭지만 때로는 해석하기 어려운 스파이크(추론적 통찰 및 비약), (3) 이전에 타당한 근거를 제시하지 않고도 정답에 도달하는 '운 좋은 추측' 등 놀라운 패턴들이 확인되었습니다. 포텐셜의 거동 중 일부(통찰이나 곁가지 등)는 쉽게 해석 가능하고 인간의 직관과 일치하지만, 인간의 관점에서 이해하기 어려운 부분들도 존재합니다. LLM이 추론적 통찰에 의존하는 정도를 추가로 정량화하기 위해, 우리는 더 강력한 모델의 부분적인 CoT가 주어졌을 때 약한 모델의 포텐셜을 측정하는 'CoT 전이성'을 조사했습니다. 그 결과, 불과 20%의 부분적 CoT만으로도 약한 모델이 이전에는 풀 수 없었던 문제에 대한 성능을 '잠금 해제'할 수 있음을 발견했으며, 이는 CoT를 뒷받침하는 메커니즘의 상당 부분이 전이 가능하다는 점을 시사합니다.

Chain-of-thought (CoT) prompting is a de-facto standard technique to elicit reasoning-like responses from large language models (LLMs), allowing them to spell out individual steps before giving a final answer. While the resemblance to human-like reasoning is undeniable, the driving forces underpinning the success of CoT reasoning still remain largely unclear. In this work, we perform an in-depth analysis of CoT traces originating from competition-level mathematics questions, with the aim of better understanding how, and which parts of CoT actually contribute to the final answer. To this end, we introduce the notion of a potential, quantifying how much a given part of CoT increases the likelihood of a correct completion. Upon examination of reasoning traces through the lens of the potential, we identify surprising patterns including (1) its often strong non-monotonicity (due to reasoning tangents), (2) very sharp but sometimes tough to interpret spikes (reasoning insights and jumps) as well as (3) at times lucky guesses, where the model arrives at the correct answer without providing any relevant justifications before. While some of the behaviours of the potential are readily interpretable and align with human intuition (such as insights and tangents), others remain difficult to understand from a human perspective. To further quantify the reliance of LLMs on reasoning insights, we investigate the notion of CoT transferability, where we measure the potential of a weaker model under the partial CoT from another, stronger model. Indeed aligning with our previous results, we find that as little as 20% of partial CoT can ``unlock'' the performance of the weaker model on problems that were previously unsolvable for it, highlighting that a large part of the mechanics underpinning CoT are transferable.