EvoThink: 자체 가지치기 및 '깨달음' 선호도 최적화를 통한 대규모 추론 모델의 진화적 사고

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

대규모 추론 모델(LRM)은 종종 불필요한 검증 단계로 인해 과도한 계산을 수행하는 경향이 있습니다. 기존의 과도한 계산 완화 방법, 예를 들어 빠른-느린 사고 전환 및 추론 경로 압축은 LRM의 추론 과정 내에서 유용한 단계와 불필요한 단계를 세밀하게 구분하지 못하고 효율성을 추구하는 과정에서 오히려 추론 능력을 저하시킬 수 있습니다. 본 연구에서는 추론 효율성과 능력을 동시에 향상시키기 위해, 불필요한 검증을 줄이고 새로운 추론 경로 탐색을 장려하는 프레임워크인 EvoThink를 제안합니다. EvoThink는 크게 두 가지 주요 구성 요소로 이루어져 있습니다. 첫째, 자체 가지치기 훈련(Self-Pruning Training, SPT)은 비지도 학습 방식으로 불필요한 추론 단계를 반복적으로 제거하고 간결화된 경로에 대해 자체 훈련을 수행합니다. 둘째, '깨달음' 선호도 최적화(Aha-Moment Preference Optimization, AMPO)는 유전 알고리즘에서 영감을 받아 가치 있는 실패한 추론 시도를 식별하고, 오류에서 정답으로 이어지는 '깨달음' 데이터를 합성하여 모델이 이러한 추론 패턴을 내재화하도록 최적화합니다. 수학적 추론 및 코드 생성 벤치마크를 사용한 광범위한 실험 결과는 EvoThink가 추론 시간을 크게 단축할 뿐만 아니라 LRM의 추론 능력 향상에도 기여한다는 것을 보여줍니다.

Large Reasoning Models (LRMs) often suffer from overthinking due to redundant verification steps. Existing approaches for mitigating overthinking, such as fast-slow thinking switching and reasoning trajectory compression, fail to make a fine-grained distinction between beneficial and redundant steps within the LRM's reasoning process, and may thus impair reasoning capability in their pursuit of efficiency. To simultaneously improve reasoning efficiency and capability, we propose EvoThink, a framework that reduces redundant verification and encourages the exploration of new reasoning paths. EvoThink comprises two key components: Self-Pruning Training (SPT), an unsupervised method that iteratively prunes redundant reasoning steps and self-trains on the concise trajectories; and Aha-Moment Preference Optimization (AMPO), which, inspired by genetic algorithms, identifies valuable failed reasoning attempts, synthesizes from-wrong-to-right aha-moment data, and optimizes the model to internalize this reasoning pattern. Extensive evaluations across mathematical reasoning and code generation benchmarks demonstrate that EvoThink not only substantially reduces inference-time token usage but also improves the reasoning capability of LRMs.