LLM의 성능 향상에 따라 소프트 가이드 방식이 체인 오브 소트 프롬프팅 방식을 능가하기 시작하다

Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve

체인 오브 소트 (CoT) 프롬프팅은 모델의 추론 능력 평가를 위한 표준적인 기본 방법으로 남아 있습니다. 원래 이 기술은 대규모 언어 모델(LLM)로부터 단계별 추론을 유도하기 위해 개발되었으며, 그렇지 않으면 LLM은 일반적으로 최종 답변을 직접 출력하는 경향이 있습니다. 그러나 많은 최신 LLM은 추론 작업을 수행할 때 '자연스럽게' CoT 스타일의 응답을 생성하며, 이는 표준 CoT 프롬프팅의 효과성에 대한 재검토를 야기했습니다. 저희는 여러 현대적인 중형 언어 모델을 수학 문제 해결 작업에 적용하여 평가한 결과, 추론에 특화된 모델이 소수의 예시(few-shot)를 사용한 CoT 방식보다 간단한 제로샷(zero-shot) 설정에서 더 나은 성능을 보이는 것을 확인했습니다. 이는 공식적으로 보고된 결과보다 상당히 높은 성능을 제공하며 (예: Mathstral의 경우 GSM8K 데이터셋에서 약 77%에서 약 84%로 향상), 추가적인 비용 없이 달성되었습니다. 또한, 일반적인 용도의 모델에 대해서도 제로샷 CoT 프롬프트가 소수의 예시를 사용한 CoT 기본 방식보다 우수한 성능을 보였습니다. 이러한 현상은 '가이드-방해'의 균형 문제 때문이라고 판단됩니다. 표준 CoT 프롬프팅은 스타일 적응, 서식 준수 및 잠재적으로 원치 않는 문맥화를 요구하며, 이는 모델이 핵심 추론 작업에 집중하는 것을 방해할 수 있습니다. 저희 연구 결과는 모델의 성능이 향상됨에 따라 표준 CoT 프롬프팅이 점점 더 '방해 요소'로 작용할 가능성이 있음을 시사합니다.

Chain-of-Thought (CoT) prompting remains the standard baseline for evaluating models' reasoning abilities. Originally, this technique was introduced to elicit step-by-step reasoning from large language models (LLMs), which would otherwise tend to directly output the final answer. However, many modern LLMs produce CoT-style responses \textit{natively} when presented with reasoning tasks, which made us revisit the effectiveness of standard CoT prompting. We evaluate several modern mid-sized language models on a math problem-solving task and find that models specialized for reasoning achieve better performance in a simple zero-shot setting than when using few-shot CoT examples - significantly surpassing officially reported results at no additional cost (e.g., from $\sim$77\% to $\sim$84\% for Mathstral on GSM8K). For the tested general-purpose model, a zero-shot CoT prompt is also sufficient to outperform a few-shot CoT baseline. We attribute this to a `guidance-distraction' tradeoff: standard CoT prompting also demands style adaptation, formatting compliance, and potentially undesired contextualization, which can distract models from the core reasoning task. Our findings suggest that using standard CoT prompting increasingly acts as a source of distraction as models grow stronger.