타일러: 언어 모델을 위한 타입 기반 잠재적 추론 - 언제 추론할 것인가, 무엇을 계산할 것인가, 그리고 얼마나 자원을 할당할 것인가

Tyler: Typed Latent Reasoning for Language Models -- When to Think, What to Compute, and How Much to Allocate

체인-오브-소프트 (CoT) 프롬프팅은 중간 계산 과정을 텍스트 토큰으로 외부화하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만, 이러한 텍스트 인터페이스는 중복성과 추론 오버헤드를 유발합니다. 잠재적 추론은 일부 계산을 연속적인 표현으로 수행함으로써 유망한 대안을 제공합니다. 그러나 기존 방법은 일반적으로 잠재적 계산이 언제 호출되고 디코딩 중에 어떻게 할당되는지 미리 정의하며, 중요한 문제인 즉, 잠재적 계산을 언제 호출할 것인지, 어떤 유형의 계산을 수행할 것인지, 그리고 얼마나 많은 자원을 할당할 것인지에 대한 해결책을 제시하지 못합니다. 본 논문에서는 타입 기반이며 예산(budget)을 고려하는 잠재적 추론 프레임워크인 **Ty**ped extbf{L}at extbf{e}nt extbf{R}easoning (Tyler)을 제안합니다. Tyler은 각 디코딩 단계에서 텍스트 토큰을 출력할지, 아니면 특정 추론 기능에 특화된 잠재적 계산 모듈로 전환할지를 선택하는 정책을 학습합니다. 호출되면, 연산자는 현재 추론 상태를 전역 계획, 로컬 상태 업데이트 또는 재사용 가능한 절차적 추상화를 지원하는 잠재적 토큰으로 매핑합니다. 세 가지 핵심 LLM에 대한 광범위한 실험에서 Tyler은 CoT보다 최대 14.49 포인트, 그리고 가장 강력한 경쟁 모델보다 최대 4.30 포인트를 성능 향상시켰습니다. 또한 다양한 추론 영역에서 일반화 능력을 보이며, 가장 낮은 망각(forgetting)으로 최상의 최종 단계 성능을 달성했습니다.

Chain-of-thought (CoT) prompting improves reasoning in large language models (LLMs) by externalizing intermediate computation as discrete text tokens, but this textual interface also introduces redundancy and inference overhead. Latent reasoning offers a promising alternative by carrying part of the computation in continuous representations. However, existing methods typically predefine when latent computation is invoked and how it is allocated during decoding, leaving a key problem unresolved: when to invoke latent computation, what type of computation to perform, and how much budget to allocate. We propose \textbf{Ty}ped \textbf{L}at\textbf{e}nt \textbf{R}easoning (Tyler), a typed and budget-aware framework for latent reasoning during autoregressive decoding. Tyler learns a policy that, at each decoding step, chooses between emitting a text token and switching to a latent computation module specialized for a particular reasoning function. Once invoked, an operator maps the current reasoning state into latent tokens that support global planning, local state updates, or reusable procedural abstraction. Across extensive experiments on three backbone LLMs, Tyler improves accuracy by up to 14.49 points over CoT and by up to 4.30 points over the strongest competing baseline. It further generalizes across diverse reasoning domains and achieves the best final-stage performance with the lowest forgetting.