추론 능력 활용: 더 적은 토큰, 더 높은 정확도

Thinking with Reasoning Skills: Fewer Tokens, More Accuracy

추론 능력을 사용하는 대규모 언어 모델(LLM)은 새로운 문제를 해결할 때 종종 많은 토큰을 사용하여 복잡한 추론 과정을 거칩니다 (예: 연쇄적 사고). 본 연구에서는 광범위한 숙고와 시행착오를 통해 얻은 재사용 가능한 추론 능력을 요약하여 저장하고, 추론 과정에서 이러한 능력을 활용하여 이후 추론을 안내하는 방법을 제안합니다. 기존의 '처음부터 추론' 방식과는 달리, 저희의 접근 방식은 각 질문에 대해 관련된 추론 능력을 먼저 불러와 모델이 불필요한 과정을 피하고 효율적인 해결 경로에 집중하도록 돕습니다. 저희는 코딩 및 수학적 추론 작업에 대한 실험을 통해, 제안하는 방법이 추론에 필요한 토큰 수를 크게 줄이면서 전체 성능을 향상시키는 것을 확인했습니다. 결과적으로 요청당 비용이 낮아져 실제 환경에 적용할 수 있는 강력한 실용적, 경제적 잠재력을 갖습니다.

Reasoning LLMs often spend substantial tokens on long intermediate reasoning traces (e.g., chain-of-thought) when solving new problems. We propose to summarize and store reusable reasoning skills distilled from extensive deliberation and trial-and-error exploration, and to retrieve these skills at inference time to guide future reasoning. Unlike the prevailing \emph{reasoning from scratch} paradigm, our approach first recalls relevant skills for each query, helping the model avoid redundant detours and focus on effective solution paths. We evaluate our method on coding and mathematical reasoning tasks, and find that it significantly reduces reasoning tokens while improving overall performance. The resulting lower per-request cost indicates strong practical and economic potential for real-world deployment.