재샘플링보다 개선: LLM 추론을 위한 테스트 시간 자체 수정

Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning

테스트 시간 스케일링은 추가적인 추론 연산을 활용하여 LLM의 추론 능력을 향상시키지만, 단순히 샘플링 범위를 넓히는 것만으로는 효과가 감소할 수 있습니다. 새로운 추론 결과들이 종종 기존 답변 패턴을 반복하며 유용한 다양한 사고 방식을 제공하지 못하기 때문입니다. 검증기(verifier) 기반 선택 방식은 대안이 될 수 있지만, 이는 외부 보상 모델의 정확도에 따라 성능이 달라집니다. 우리는 검증기를 사용하지 않는 폭(breadth)-깊이(depth) 개선 프레임워크를 제안합니다. 이 프레임워크는 테스트 시간 연산을 사용하여 후보 솔루션을 탐색하고 개선합니다. 방법은 여러 개의 독립적인 추론 과정을 샘플링하고, 각 과정을 반복적인 자기 비판 및 자기 수정 과정을 통해 개선하며, 개선된 답변들을 다수결 투표로 통합합니다. 폭(breadth)은 다양한 초기 시도를 유지하고, 깊이(depth)는 통합 전에 지역적인 추론 오류를 수정합니다. AIME24, AIME25, AMC, OlympiadBench 및 MATH500 데이터셋에서, 제안하는 방법은 여러 공개 모델에서 탐욕적 디코딩, 다수결 투표, 검증기 기반 최상 $N$개 선택, 빔 검색 및 미리보기 디코딩보다 일관되게 더 나은 성능을 보입니다. 예를 들어, Qwen2.5-1.5B 모델의 경우, MATH500 데이터셋에서 정확도가 가장 강력한 검증기 기반 기준 모델 대비 58.0%로 증가하고, AMC 데이터셋에서는 25.0%에서 32.5%로 증가합니다. 이러한 결과는 테스트 시간 연산이 더 많은 후보를 샘플링하거나 검증기를 활용하는 것보다, 샘플링된 추론 과정을 개선하는 데 더 효과적일 수 있음을 보여줍니다.

Test-time scaling improves LLM reasoning by using additional inference compute, but wider sampling alone can suffer from diminishing returns: new rollouts often repeat existing answer patterns instead of adding useful reasoning diversity. Verifier-based selection offers an alternative, but its performance depends on the calibration of an external reward model. We propose a verifier-free breadth--depth refinement framework that uses test-time compute to both explore and improve candidate solutions. The method samples multiple independent reasoning rollouts, refines each rollout through iterative self-critique and self-correction, and aggregates the refined answers by majority voting. Breadth preserves diverse initial attempts, while depth repairs local reasoning errors before aggregation. Across AIME24, AIME25, AMC, OlympiadBench, and MATH500, our method consistently improves over greedy decoding, majority voting, verifier-based best-of-$N$, beam search, and lookahead decoding across multiple open-weight models. For instance, with Qwen2.5-1.5B, accuracy increases from the strongest verifier-based baseline to $58.0\%$ on MATH500, and from $25.0\%$ to $32.5\%$ on AMC. These results show that test-time compute can be more effective when used to refine sampled trajectories rather than only to sample more candidates or rely on verifier-guided selection.