추론을 위한 CoT의 잠재력: 추론 과정의 역학에 대한 심층 분석

The Potential of CoT for Reasoning: A Closer Look at Trace Dynamics

Chain-of-thought (CoT) 프롬프트는 대규모 언어 모델(LLM)로부터 추론과 유사한 답변을 이끌어내는 사실상 표준적인 기술로, 모델이 최종 답변을 제공하기 전에 개별 단계를 상세히 설명하도록 합니다. CoT 추론이 인간과 유사한 추론에 대한 닮은꼴을 보여주지만, CoT 추론의 성공을 뒷받침하는 근본적인 원인은 여전히 대부분 명확하지 않습니다. 본 연구에서는 경쟁 수준의 수학 문제에서 생성된 CoT 추론 과정을 심층적으로 분석하여, 어떤 부분의 CoT가 최종 답변에 실제로 기여하는지, 그리고 어떻게 기여하는지 더 잘 이해하는 것을 목표로 합니다. 이를 위해, 특정 CoT 부분이 정답을 맞출 가능성을 얼마나 증가시키는지 정량화하는 '잠재력(potential)'이라는 개념을 도입합니다. 잠재력이라는 관점에서 추론 과정을 검토한 결과, 다음과 같은 놀라운 패턴을 발견했습니다. (1) 종종 강한 비단조성(추론의 방향 전환으로 인해 발생), (2) 매우 뚜렷하지만 때로는 해석하기 어려운 급격한 증가(추론적 통찰력 및 도약), 그리고 (3) 때로는 모델이 관련 근거 없이 우연히 정답에 도달하는 경우입니다. 잠재력의 일부 행동은 통찰력이나 방향 전환과 같이 인간의 직관과 일치하지만, 다른 부분은 인간의 관점에서 이해하기 어렵습니다. LLM이 추론적 통찰력에 얼마나 의존하는지 더욱 정량화하기 위해, 우리는 CoT 전달 가능성이라는 개념을 조사합니다. 이는 한 모델의 부분적인 CoT를 사용하여 다른, 더 약한 모델의 성능을 측정하는 것입니다. 예상대로, 이전 결과와 일관되게, 부분적인 CoT의 20% 정도만으로도 이전에 풀 수 없었던 문제에 대해 약한 모델의 성능을 향상시킬 수 있으며, 이는 CoT의 작동 방식 중 상당 부분이 전달 가능하다는 것을 강조합니다.

Chain-of-thought (CoT) prompting is a de-facto standard technique to elicit reasoning-like responses from large language models (LLMs), allowing them to spell out individual steps before giving a final answer. While the resemblance to human-like reasoning is undeniable, the driving forces underpinning the success of CoT reasoning still remain largely unclear. In this work, we perform an in-depth analysis of CoT traces originating from competition-level mathematics questions, with the aim of better understanding how, and which parts of CoT actually contribute to the final answer. To this end, we introduce the notion of a potential, quantifying how much a given part of CoT increases the likelihood of a correct completion. Upon examination of reasoning traces through the lens of the potential, we identify surprising patterns including (1) its often strong non-monotonicity (due to reasoning tangents), (2) very sharp but sometimes tough to interpret spikes (reasoning insights and jumps) as well as (3) at times lucky guesses, where the model arrives at the correct answer without providing any relevant justifications before. While some of the behaviours of the potential are readily interpretable and align with human intuition (such as insights and tangents), others remain difficult to understand from a human perspective. To further quantify the reliance of LLMs on reasoning insights, we investigate the notion of CoT transferability, where we measure the potential of a weaker model under the partial CoT from another, stronger model. Indeed aligning with our previous results, we find that as little as 20% of partial CoT can ``unlock'' the performance of the weaker model on problems that were previously unsolvable for it, highlighting that a large part of the mechanics underpinning CoT are transferable.