잠재적 사고 흐름: 대규모 언어 모델에서의 효율적인 잠재 추론

Latent Thought Flow: Efficient Latent Reasoning in Large Language Models

대규모 언어 모델(LLM)은 점점 더 복잡한 중간 추론에 의존하고 있지만, 명시적인 체인-오브-토트(CoT) 방식은 언어 공간의 제약으로 인해 각 사고 단계를 토큰으로 디코딩해야 하므로 높은 추론 오버헤드를 발생시킵니다. 잠재적 추론은 계산 과정을 연속적인 공간으로 이동시키지만, 기존 방법들은 주로 결정론적이거나 보상을 극대화하는 경로를 학습하여, 다양한 정확도와 비용을 가진 경로에 걸쳐 확률을 체계적으로 할당하는 방법을 제공하지 못합니다. 본 논문에서는 추론을 가변 길이의 연속적인 경로로 모델링하고, 답변 품질과 계산 비용에 대한 보상 기반의 사후 분포를 따르도록 샘플러를 학습시키는 '잠재적 사고 흐름(Latent Thought Flow, LTF)'을 제안합니다. 우리는 확률적 잠재 변환을 사용하는 연속적인 GFlowNet을 통해 이를 구현했습니다. 희소한 답변 감독 데이터를 처리하기 위해, 중간 보상에 대한 엔트로피 가중 서브트랙토리 균형 목표와 탐색을 안정화하는 참조 사전 정규화를 도입했습니다. 미세 조정 및 전이 학습 환경에서의 실험 결과, LTF는 명시적인 CoT 방식과 기존의 잠재적 추론 방법보다 우수한 성능을 보이며, 강력한 잠재적 추론 기준 모델에 비해 평균적으로 정확도는 9.5% 향상되고 추론 길이는 27.2% 감소했습니다.

Large Language Models (LLMs) increasingly rely on intermediate reasoning, yet explicit Chain-of-Thought (CoT) suffers from a linguistic space bottleneck: each thought must be decoded into tokens, causing high inference overhead. Latent reasoning moves deliberation into continuous space, but existing methods mostly learn deterministic or reward-maximizing paths, lacking a principled way to allocate probability across trajectories with different correctness and costs. We propose Latent Thought Flow (LTF), which models reasoning as variable-length continuous trajectories and trains a sampler to match a reward-induced posterior over answer quality and computation cost. We instantiate this with a continuous GFlowNet using stochastic latent transitions. To handle sparse answer supervision, we introduce an Entropy-Weighted Subtrajectory Balance objective for intermediate rewards and a reference-prior regularizer to anchor exploration. Experiments under finetuning and transfer learning settings show that LTF outperforms explicit CoT and latent reasoning baselines, improving accuracy by 9.5% while reducing reasoning length by 27.2% on average compared with strong latent reasoning baselines.