다시 생각하거나 더 오래 생각할까? 예산 제약적인 추론을 위한 선택적 검증

Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning

추론 과정은 서비스 제공 시간을 조절하는 중요한 요소로 점점 더 많이 사용되고 있지만, 모든 추론이 동일하게 가치 있는 것은 아닙니다. 추가적인 추론은 실패한 시도를 수정할 수 있지만, 이미 정확한 결과에 대한 계산 자원을 낭비하거나 유해한 답변 변경을 초래할 수도 있습니다. 본 연구에서는 이러한 문제를 새로운 검증기 개발보다는 배포 할당 문제로 접근합니다. 우리는 extit{sevra}, 즉 추론 할당을 위한 선택적 검증이라는 서비스 계층 제어기를 소개합니다. 이 제어기는 고정된 솔버의 초기 답변을 유지할지, 아니면 활성 검증을 수행할지를 결정합니다. 고정된 Qwen3-4B 솔버를 사용하여 서비스에서 관찰 가능한 시도 상태로부터 복구 가능성을 고려한 게이트를 학습하고, 개입 결과 로그를 기록했습니다. extit{mathfive} 데이터셋에서 선택적 검증은 76.3%의 정확도를 달성하여, 항상 검증하는 경우의 75.5%보다 높았으며, 동시에 생성된 토큰 수를 26.8% 줄이고 유해한 답변 변경을 2.2%에서 1.0%로 감소시켰습니다. 그러나 8,192개의 토큰으로 초기 솔루션을 얻는 것이 76.0%의 정확도를 달성하며 전체 모델 토큰 사용량을 28% 줄이는 결과를 보여주었으므로, 선택적 복구가 유용하지만 최상의 비용 효율성을 제공하는 것은 아님을 시사합니다. extit{gsm} 데이터셋으로의 고정된 전이 학습에서, 선택적 정책은 예제의 3.0%만 검증하면서 정확도를 93.4%에서 94.5%로 향상시키고 검증에 필요한 토큰 수를 항상 검증하는 경우보다 91.2% 줄였습니다. 다시 한번, 더 긴 초기 솔루션이 동일한 정확도를 달성하면서 더 적은 수의 토큰을 사용했습니다. extit{CommonsenseQA} 데이터셋에서는 지속적인 검증이 성능 저하를 일으키는 반면, Self-Consistency@5는 구현된 토큰 비용의 약 5배에 해당하는 향상된 정확도를 제공합니다. 따라서 다음과 같은 배포 규칙을 제안합니다: 먼저 초기 예산을 조정하고, 명시적 확인, 제한된 재시도, 감사 가능성 또는 회귀 위험 관리가 중요한 경우에 선택적 복구를 사용하십시오.

Test-time reasoning is increasingly used as a serving-time control knob, but extra reasoning is not uniformly valuable: it can repair failed attempts, waste compute on already-correct answers, or introduce harmful answer changes. We study this as a deployment allocation problem rather than a new-verifier problem. We introduce \sevra, Selective Verification for Reasoning Allocation, a serving-layer controller that decides whether to preserve a frozen solver's initial answer or invoke active verification. Using a frozen Qwen3-4B solver, we log intervention outcomes and train recoverability-aware gates from serving-visible attempt state. On \mathfive, selective verification reaches 76.3\% accuracy, compared with 75.5\% for always verifying, while reducing post-generation tokens by 26.8\% and harmful flips from 2.2\% to 1.0\%. However, an 8,192-token initial solve reaches 76.0\% accuracy with 28\% fewer total model tokens, showing that selective recovery is useful but not the best tested cost frontier. In frozen transfer to \gsm, the selective policy verifies only 3.0\% of examples, improves accuracy from 93.4\% to 94.5\%, and reduces verification tokens by 91.2\% relative to always verifying; again, a longer initial solve matches its accuracy with fewer realized tokens. On CommonsenseQA, always-on verification hurts, while Self-Consistency@5 improves accuracy at about five times the realized token cost. The resulting deployment rule is: tune the initial budget first, then use selective recovery when explicit checks, bounded retries, auditability, or regression-risk control matter.