GradCuit: 신용 할당 기반 그래디언트 흐름을 통한 강력하고 해석 가능한 테스트 시간 잠재적 추론

GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

최적화 기반의 잠재적 추론은 모델 파라미터를 고정 상태로 유지하면서 테스트 시간에 인스턴스별 연속적인 상태를 최적화하여 대규모 언어 모델의 출력을 향상시킵니다. 기존 방법들은 일반적으로 이러한 상태와 추론 경로를 디코딩된 토큰을 통해 연결하기 때문에, 시퀀스 수준에서의 신용 할당이 간접적이며 잠재 변수의 업데이트가 이후 추론에 미치는 영향이 불분명합니다. 본 논문에서는 최적화 가능한 잠재 상태를 선택된 Transformer 레이어에 삽입하는 GradCuit(gradient through circuit)을 제안합니다. 인과 관계 기반 self-attention 메커니즘은 모든 생성 토큰의 로그 확률에 대해 나머지 Transformer 블록을 통해 이전 잠재 상태로 미분 가능한 경로를 제공하여, 전체 생성 시퀀스에서 얻은 보상 가중 그래디언트를 잠재 변수에 직접 할당할 수 있도록 합니다. 5개의 instruction-tuned 모델, 3가지 추론 벤치마크 및 2가지 답변 형식에 대한 실험 결과, GradCuit는 평균 정확도 64.5%를 달성하여 chain-of-thought 프롬프팅보다 6.6%p 더 높고 가장 강력한 경쟁 방법보다 2.4%p 더 높은 성능을 보였습니다. 또한 GradCuit는 더 뛰어난 안정성을 보여주었습니다. 7가지 학습률 설정에서 LatentSeek보다 일관되게 우수한 성능을 나타내며, 정확도의 표준 편차를 1.53에서 0.82로 줄였습니다. 심지어 랜덤 워크 변형도 LatentSeek과 경쟁력 있는 성능을 유지합니다. 해석 가능성 측면에서 토큰 수준의 그래디언트 분석은 잠재 변수의 영향이 추론 연결 토큰에 집중되어 있음을 보여주고, 레이어 분석은 Transformer 레이어 초반부터 중간까지가 가장 효과적인 최적화 공간임을 밝혀냈습니다. GradCuit는 결과 피드백을 통해 내부 추론을 직접적으로 최적화함으로써, 대규모 언어 모델이 단순히 출력을 재생성하거나 샘플링, 재정렬하는 것이 아니라 추론 방식을 적응시키는 강력하고 해석 가능한 테스트 시간 스케일링의 새로운 가능성을 열어줍니다.

Optimization-based latent reasoning improves large language model outputs by optimizing instance-specific continuous states at test time while keeping model parameters frozen. Existing methods, however, typically connect these states to the reasoning trajectory through decoded tokens, making sequence-level credit assignment indirect and obscuring how latent updates shape subsequent reasoning. We introduce GradCuit (gradient through circuit), which inserts optimizable latent states at a selected Transformer layer between the hidden representations of the prompt and the generated continuation. Causal self-attention provides every continuation-token log-probability with a differentiable path to every preceding latent state through the remaining Transformer blocks, enabling reward-weighted gradients from the entire continuation to be assigned directly to the latents. Across five instruction-tuned backbones, three reasoning benchmarks, and two answer formats, GradCuit achieves an average accuracy of 64.5%, outperforming chain-of-thought prompting by 6.6 percentage points and the strongest competing method by 2.4 points. GradCuit also demonstrates greater robustness: across seven learning-rate settings, it consistently outperforms LatentSeek while reducing the standard deviation of accuracy from 1.53 to 0.82, and even its random-walk variant remains competitive with LatentSeek. For interpretability, token-level gradient attribution reveals that latent influence concentrates on reasoning-connector tokens, while layer analysis identifies early-to-middle Transformer layers as the most effective optimization space. By directly optimizing internal reasoning from outcome feedback, GradCuit opens a new axis of robust and interpretable test-time scaling, where LLMs adapt how they reason rather than merely regenerate, sample, or rerank outputs.