LLM의 추론 능력 향상: 패러프레이즈 기반 탐색 및 일관성 검증을 통한 접근

Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification

대규모 언어 모델(LLM)은 다양한 추론 과제에서 뛰어난 성능을 보여주었습니다. 그러나 이러한 모델은 복잡한 과제에서 환각 현상과 중간 단계에서의 오류 누적 때문에 문제 해결 능력이 저하되는 경향이 있습니다. 최근 연구에서는 추론 과정에서 후속 단계에 상당한 영향을 미치는 '핵심 토큰'이라는 개념이 도입되었습니다. 기존 연구에서는 핵심 토큰을 대체함으로써 추론 경로를 개선할 수 있다고 제안합니다. 그러나 핵심 토큰을 신뢰성 있게 식별하고 활용하는 것은 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 패러프레이즈 기반 탐색 및 일관성 검증(PPCV) 프레임워크를 제안합니다. PPCV는 두 단계로 구성됩니다. 첫 번째 단계에서는 원래 질문에서 초기 추론 경로를 생성하고, 이 추론 경로에 질문의 패러프레이즈 버전을 연결합니다. 그런 다음, 추론 경로에서 예측된 최상위 토큰과 예상되는 토큰 간의 불일치를 기반으로 핵심 토큰을 식별합니다. 최종 핵심 토큰은 특정 기준을 통해 확인됩니다. 두 번째 단계에서는 식별된 핵심 토큰을 후보 대체어로 대체하고, 원래 질문과 패러프레이즈된 질문 모두에 대한 새로운 추론 경로를 생성합니다. 최종 답변은 이러한 병렬 추론 과정의 결과 일관성을 검증하여 결정됩니다. 본 논문에서는 다양한 벤치마크를 사용하여 주류 LLM에서 PPCV를 평가했습니다. 광범위한 실험 결과, PPCV는 기준 모델에 비해 LLM의 추론 성능을 크게 향상시키는 것으로 나타났습니다.

Large language models have demonstrated impressive performance across a variety of reasoning tasks. However, their problem-solving ability often declines on more complex tasks due to hallucinations and the accumulation of errors within these intermediate steps. Recent work has introduced the notion of critical tokens--tokens in the reasoning process that exert significant influence on subsequent steps. Prior studies suggest that replacing critical tokens can refine reasoning trajectories. Nonetheless, reliably identifying and exploiting critical tokens remains challenging. To address this, we propose the Paraphrastic Probing and Consistency Verification~(PPCV) framework. PPCV operates in two stages. In the first stage, we roll out an initial reasoning path from the original question and then concatenate paraphrased versions of the question with this reasoning path. And we identify critical tokens based on mismatches between the predicted top-1 token and the expected token in the reasoning path. A criterion is employed to confirm the final critical token. In the second stage, we substitute critical tokens with candidate alternatives and roll out new reasoning paths for both the original and paraphrased questions. The final answer is determined by checking the consistency of outputs across these parallel reasoning processes. We evaluate PPCV on mainstream LLMs across multiple benchmarks. Extensive experiments demonstrate PPCV substantially enhances the reasoning performance of LLMs compared to baselines.