대규모 언어 모델 추론에서의 오류 발생 메커니즘 분석

Dissecting Failure Dynamics in Large Language Model Reasoning

대규모 언어 모델(LLM)은 연장된 추론 시간을 통해 강력한 성능을 달성하지만, 이러한 모델의 추론 실패가 발생하는 원인에 대한 이해는 아직 부족합니다. 모델이 생성하는 추론 경로를 분석한 결과, 오류가 균일하게 분포되어 있지 않으며, 종종 소수의 초기 전환 지점에서 발생하며, 이후 추론은 지역적으로 일관성을 유지하지만 전반적으로는 틀린 결론으로 이어지는 것을 확인했습니다. 이러한 전환 지점은 토큰 수준의 엔트로피 급증과 일치하며, 동일한 중간 상태에서 다른 방식으로 추론을 이어가면 여전히 올바른 해결책을 도출할 수 있습니다. 이러한 관찰을 바탕으로, 우리는 불확실성 신호를 사용하여 중요한 전환 지점을 탐색하고 재지향하는 타겟 추론 프레임워크인 GUARD를 제안합니다. 여러 벤치마크를 사용한 실험 결과, 이러한 실패 메커니즘에 기반한 개입은 더욱 안정적인 추론 결과를 가져오는 것으로 확인되었습니다. 본 연구 결과는 추론이 언제, 어떻게 잘못되기 시작하는지를 이해하는 데 중요한 정보를 제공하며, 기존의 추론 시간 계산 확장 방식에 대한 보완적인 접근 방식을 제시합니다.

Large Language Models (LLMs) achieve strong performance through extended inference-time deliberation, yet how their reasoning failures arise remains poorly understood. By analyzing model-generated reasoning trajectories, we find that errors are not uniformly distributed but often originate from a small number of early transition points, after which reasoning remains locally coherent but globally incorrect. These transitions coincide with localized spikes in token-level entropy, and alternative continuations from the same intermediate state can still lead to correct solutions. Based on these observations, we introduce GUARD, a targeted inference-time framework that probes and redirects critical transitions using uncertainty signals. Empirical evaluations across multiple benchmarks confirm that interventions guided by these failure dynamics lead to more reliable reasoning outcomes. Our findings highlight the importance of understanding when and how reasoning first deviates, complementing existing approaches that focus on scaling inference-time computation.