PRISM-MCTS: 메타인지적 성찰을 통한 추론 경로 학습

PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection

본 논문에서는 메타인지적 성찰을 통해 추론 경로로부터 학습하는 새로운 프레임워크인 PRISM-MCTS를 제안합니다. PRISM-MCTS는 인간의 병렬적 사고 및 성찰 과정을 모방하여, 기존의 몬테카를로 트리 탐색(MCTS) 방법의 효율성 문제를 해결하고자 합니다. 기존의 MCTS 방법은 각 탐색 단계를 독립적인 경로로 취급하여 정보 공유가 부족하고, 이는 심각한 비효율성과 중복 연산으로 이어집니다. PRISM-MCTS는 프로세스 보상 모델(PRM)을 동적 공유 메모리와 통합하여 '휴리스틱'과 '오류'를 모두 고려합니다. 성공적인 전략을 강화하고 오류 발생 가능성이 높은 분기를 제거함으로써, PRISM-MCTS는 효율적인 개선을 달성합니다. 또한, PRISM-MCTS는 PRM에 대한 데이터 효율적인 학습 전략을 개발하여, 적은 데이터로도 높은 정확도를 확보합니다. 다양한 추론 벤치마크에서 수행한 실험 결과는 PRISM-MCTS의 효과를 입증합니다. 특히, PRISM-MCTS는 GPQA 데이터셋에서 경로 요구량을 절반으로 줄이고, MCTS-RAG 및 Search-o1보다 우수한 성능을 보여주며, 무분별한 탐색보다는 신중한 추론을 통해 추론 성능을 향상시킬 수 있음을 입증합니다.

PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection Siyuan Cheng, Bozhong Tian, Yanchao Hao, Zheng Wei Published: 06 Apr 2026, Last Modified: 06 Apr 2026 ACL 2026 Findings Conference, Area Chairs, Reviewers, Publication Chairs, Authors Revisions BibTeX CC BY 4.0 Keywords: Efficient/Low-Resource Methods for NLP, Generation, Question Answering Abstract: The emergence of reasoning models, exemplified by OpenAI o1, signifies a transition from intuitive to deliberative cognition, effectively reorienting the scaling laws from pre-training paradigms toward test-time computation. While Monte Carlo Tree Search (MCTS) has shown promise in this domain, existing approaches typically treat each rollout as an isolated trajectory. This lack of information sharing leads to severe inefficiency and substantial computational redundancy, as the search process fails to leverage insights from prior explorations. To address these limitations, we propose PRISM-MCTS, a novel reasoning framework that draws inspiration from human parallel thinking and reflective processes. PRISM-MCTS integrates a Process Reward Model (PRM) with a dynamic shared memory, capturing both "Heuristics" and "Fallacies". By reinforcing successful strategies and pruning error-prone branches, PRISM-MCTS effectively achieves refinement. Furthermore, we develop a data-efficient training strategy for the PRM, achieving high-fidelity evaluation under a few-shot regime. Empirical evaluations across diverse reasoning benchmarks substantiate the efficacy of PRISM-MCTS. Notably, it halves the trajectory requirements on GPQA while surpassing MCTS-RAG and Search-o1, demonstrating that it scales inference by reasoning judiciously rather than exhaustively.