메타-추론을 넘어: 자기 개선 LLM 추론을 위한 메타인지 통합

Beyond Meta-Reasoning: Metacognitive Consolidation for Self-Improving LLM Reasoning

대규모 언어 모델(LLM)은 강력한 추론 능력을 보여왔으며, LLM 추론을 향상시키는 기존 방법들이 발전함에 따라, 더욱 발전된 성능을 위한 유망한 방향으로 메타-추론에 대한 관심이 높아지고 있습니다. 그러나 대부분의 기존 메타-추론 방법은 여전히 에피소드 기반으로, 개별 사례 내에서 복잡한 메타-추론 루틴을 실행하는 데 집중하지만, 사례 전체에 걸쳐 재사용 가능한 메타-추론 기술을 축적하는 것을 무시하여, 반복적인 실패 원인과 높은 메타인지 노력을 초래합니다. 본 논문에서는 메타인지 경험을 과거의 추론 과정에서 얻은 지식을 재사용 가능한 지식으로 통합하여 향후 메타-추론을 개선하는 새로운 프레임워크인 '메타인지 통합(Metacognitive Consolidation)'을 소개합니다. 이 프레임워크를 구현하기 위해, 우리는 문제 해결을 추론, 모니터링, 제어라는 명확한 역할로 분리하여 풍부하고 추적 가능한 메타 수준의 기록을 생성합니다. 이러한 기록은 계층적이고 다중 시간 척도 업데이트 메커니즘을 통해 통합되어 점진적으로 진화하는 메타 지식을 형성합니다. 실험 결과는 다양한 벤치마크와 기본 모델에서 일관된 성능 향상을 보여주며, 시간이 지남에 따라 메타인지 경험이 축적됨에 따라 성능이 향상되는 것을 보여줍니다.

Large language models (LLMs) have demonstrated strong reasoning capabilities, and as existing approaches for enhancing LLM reasoning continue to mature, increasing attention has shifted toward meta-reasoning as a promising direction for further improvement. However, most existing meta-reasoning methods remain episodic: they focus on executing complex meta-reasoning routines within individual instances, but ignore the accumulation of reusable meta-reasoning skills across instances, leading to recurring failure modes and repeatedly high metacognitive effort. In this paper, we introduce Metacognitive Consolidation, a novel framework in which a model consolidates metacognitive experience from past reasoning episodes into reusable knowledge that improves future meta-reasoning. We instantiate this framework by structuring instance-level problem solving into distinct roles for reasoning, monitoring, and control to generate rich, attributable meta-level traces. These traces are then consolidated through a hierarchical, multi-timescale update mechanism that gradually forms evolving meta-knowledge. Experimental results demonstrate consistent performance gains across benchmarks and backbone models, and show that performance improves as metacognitive experience accumulates over time.