interwhen: 검증 가능한 추론을 위한 일반화된 프레임워크 (테스트 시간 모니터링 활용)

interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors

본 논문에서는 테스트 시간 검증 프레임워크인 interwhen을 제시합니다. interwhen은 주어진 검증기 세트에 대해 추론 모델의 출력이 유효한지 확인합니다. 검증된 추론은 물리 세계의 에이전트 배포 또는 법률 및 금융과 같은 분야에서 중요한 목표입니다. 그러나 현재 기술은 최종 답변이 생성된 후에만 검증하는 generate-test 패러다임에 의존하거나, 작업 실행을 외부적으로 구조화된 단계로 분해하여 부분적인 출력을 검증하는 step-extraction 패러다임을 사용합니다. 전자는 비효율적이며, 후자는 모델의 문제 해결 전략을 인위적으로 제한합니다. 우리는 모델의 추론 과정을 그대로 검증하는 방법을 제안합니다. 이는 모델의 추론 능력을 최대한 활용하면서 필요한 경우에만 모델의 출력을 검증하고 제어합니다. 핵심 아이디어는 메타-프롬프팅입니다. 모든 부분적인 솔루션이 만족해야 하는 검증 가능한 속성을 식별하고, 모델이 사용자 정의 형식을 따르도록 유도하여 부분적인 출력을 쉽게 파싱하고 확인할 수 있도록 합니다. 우리는 자체 검증과 외부 검증을 모두 고려했으며, interwhen이 각 경우에 피드백을 제공하고 추론 모델을 제어하기 위한 유용한 추상화를 제공한다는 것을 확인했습니다. 자체 검증을 사용하는 interwhen은 정확도 손실 없이 초기 종료 추론 모델에서 최첨단 결과를 얻습니다. 외부 검증기를 사용하는 interwhen은 테스트 시간 스케일링 방법보다 정확도 측면에서 10%p의 성능 향상을 보이며, 100%의 정확성을 보장하고 4배 더 효율적입니다. interwhen의 코드는 https://github.com/microsoft/interwhen 에서 확인할 수 있습니다.

We present a test-time verification framework, interwhen, that ensures that the output of a reasoning model is valid wrt. a given set of verifiers. Verified reasoning is an important goal in high-stakes scenarios such as deploying agents in the physical world or in domains such as law and finance. However, current techniques either rely on the generate-test paradigm that verifies only after the final answer is produced, or verify partial output through a step-extraction paradigm where the task execution is externally broken down into structured steps. The former is inefficient while the latter artificially restricts a model's problem solving strategies. Instead, we propose to verify a model's reasoning trace as-is, taking full advantage of a model's reasoning capabilities while verifying and steering the model's output only when needed. The key idea is meta-prompting, identifying the verifiable properties that any partial solution should satisfy and then prompting the model to follow a custom format in its trace such that partial outputs can be easily parsed and checked. We consider both self-verification and external verification and find that interwhen provides a useful abstraction to provide feedback and steer reasoning models in each case. Using self-verification, interwhen obtains state-of-the-art results on early stopping reasoning models, without any loss in accuracy. Using external verifiers, interwhen obtains 10 p.p. improvement in accuracy over test-time scaling methods, while ensuring 100% soundness and being 4x more efficient. The code for interwhen is available at https://github.com/microsoft/interwhen