긴 연쇄 추론(Chain-of-Thought)에서의 스트리밍 환각 탐지

Streaming Hallucination Detection in Long Chain-of-Thought Reasoning

긴 연쇄 추론(CoT)은 대규모 언어 모델의 성능을 향상시키지만, 이러한 환경에서의 환각은 종종 미묘하게 발생하여 여러 추론 단계에 걸쳐 전파됩니다. 우리는 긴 CoT 추론에서의 환각을 일회성 오류 사건이 아닌, 점진적으로 변화하는 잠재 상태로 이해하는 것이 더 낫다고 제안합니다. 이에 따라 우리는 단계별 환각 판단을 국소적 관측으로 간주하고, 전체 추론 궤적에 걸쳐 추론 상태의 전역적 변화를 추적하는 누적 접두사 수준의 환각 신호를 도입합니다. 결과적으로 우리의 접근 방식은 긴 CoT 추론에서 스트리밍 환각 탐지를 가능하게 하여, 실시간으로 해석 가능한 근거를 제공합니다.

Long chain-of-thought (CoT) reasoning improves the performance of large language models, yet hallucinations in such settings often emerge subtly and propagate across reasoning steps. We suggest that hallucination in long CoT reasoning is better understood as an evolving latent state rather than a one-off erroneous event. Accordingly, we treat step-level hallucination judgments as local observations and introduce a cumulative prefix-level hallucination signal that tracks the global evolution of the reasoning state over the entire trajectory. Overall, our approach enables streaming hallucination detection in long CoT reasoning, providing real-time, interpretable evidence.