탐지-추출 격차: 모델은 답변을 말하기 전에 이미 답을 알고 있다

The Detection--Extraction Gap: Models Know the Answer Before They Can Say It

현대의 추론 모델은 답변이 이미 결정된 후에도 계속해서 텍스트를 생성합니다. 다섯 가지 모델 구성, 두 가지 모델 패밀리, 세 가지 벤치마크를 통해, **52~88%의 체인-오브-쏘트 토큰이 답변을 유추할 수 있는 부분적인 텍스트**가 생성된 **후에** 생성되는 것을 확인했습니다. 이러한 답변 결정 후의 텍스트 생성은 구조적인 현상, 즉 **탐지-추출 격차**를 드러냅니다. 초기 텍스트의 자유로운 이어쓰기는 텍스트의 10% 지점에서조차 정확한 답변을 유추할 수 있지만, 강제적인 추출은 42%의 경우에 실패합니다. 모델의 상태에서 답변을 유추할 수 있음에도 불구하고, 프롬프트에 조건화된 디코딩은 이를 추출하지 못합니다. 우리는 자유로운 이어쓰기와 강제적인 추출 분포 간의 총 변동 차이를 통해 이 불일치를 공식화하여, 접미사로 인한 변화의 양적 추정치를 얻었습니다. 이러한 비대칭성을 활용하여, 우리는 Black-box Adaptive Early Exit (BAEE)를 제안합니다. BAEE는 탐지 및 추출 모두에 자유로운 이어쓰기를 사용하고, **시리얼 생성의 70~78%를 잘라냄으로써, 모든 모델에서 정확도를 1~5%p 향상시킵니다.** 사고 모드 모델의 경우, 조기 종료는 답변 결정 후의 텍스트 생성을 방지하여 최대 5.8%p의 성능 향상을 가져옵니다. 비용 최적화된 변형은 API 호출 횟수를 중앙값 9회로 줄이면서 68~73%의 감소를 달성합니다. 코드: https://github.com/EdWangLoDaSc/know2say

Modern reasoning models continue generating long after the answer is already determined. Across five model configurations, two families, and three benchmarks, we find that \textbf{52--88\% of chain-of-thought tokens are produced after the answer is recoverable} from a partial prefix. This post-commitment generation reveals a structural phenomenon: the \textbf{detection--extraction gap}. Free continuations from early prefixes recover the correct answer even at 10\% of the trace, while forced extraction fails on 42\% of these cases. The answer is recoverable from the model state, yet prompt-conditioned decoding fails to extract it. We formalize this mismatch via a total-variation bound between free and forced continuation distributions, yielding quantitative estimates of suffix-induced shift. Exploiting this asymmetry, we propose Black-box Adaptive Early Exit (\BAEE{}), which uses free continuations for both detection and extraction, truncating \textbf{70--78\% of serial generation} while \textbf{improving accuracy by 1--5\,pp} across all models. For thinking-mode models, early exit prevents post-commitment overwriting, yielding gains of up to 5.8\,pp; a cost-optimized variant achieves 68--73\% reduction at a median of 9 API calls. Code is available at https://github.com/EdWangLoDaSc/know2say.