잠재적 행동의 발견 및 반복을 통한 LLM 추론의 내재화

Internalizing LLM Reasoning via Discovery and Replay of Latent Actions

사고 과정(chain-of-thought)을 숨겨진 상태로 내재화하는 것은 테스트 시간 동안의 연산량을 효율적으로 확장하는 매우 효과적인 방법으로 떠올랐습니다. 그러나 기존의 활성화 제어 방법은 정적인 제어 벡터에 의존하며, 이는 복잡한 추론 작업의 비정상적인 변화에 적응하지 못합니다. 이러한 한계를 해결하기 위해, 우리는 추론 향상을 동적인 잠재 궤적 제어 문제로 재구성하는 프레임워크인 STIR (Self-Distilled Tools for Internal Reasoning)을 제안합니다. STIR은 시너지 효과를 내는 세 단계 파이프라인을 도입합니다: (1) 차등적 내재적 행동 유도는 잠재적인 추론 성공을 활용하여 제어 기본 원칙을 결정화합니다; (2) 희소 제어 기반 구축은 간결하고 기하학적으로 다양한 도구 라이브러리를 선별합니다; (3) 값-조절된 궤적 개입은 앵커 기반 게이팅을 통해 문맥별 충격을 동적으로 주입합니다. 네 가지 대표 모델에서 수행된 여섯 가지 산술 및 논리 벤치마크 실험 결과, STIR은 평균 정확도를 1.9%에서 7.5% 향상시키고, 평균 토큰 사용량을 최대 35%까지 줄이는 것으로 나타났습니다. 이러한 결과는 명시적인 사고 과정을 동적인 잠재 궤적 제어를 통해 구현함으로써, 명시적인 생성을 우회하면서도 우수한 정확도를 달성할 수 있음을 보여줍니다. 저희 코드의 GitHub 주소는 https://github.com/sznnzs/LLM-Latent-Action 입니다.

The internalization of chain-of-thought processes into hidden states has emerged as a highly efficient paradigm for scaling test-time compute. However, existing activation steering methods rely on static control vectors that fail to adapt to the non-stationary evolution of complex reasoning tasks. To address this limitation, we propose STIR (Self-Distilled Tools for Internal Reasoning), a framework that reformulates reasoning enhancement as a dynamic latent trajectory control problem. STIR introduces a synergistic three-stage pipeline: (1) differential intrinsic action induction harvests latent reasoning successes to crystallize steering primitives; (2) sparse control basis construction curates a compact, geometrically diverse tool library; and (3) value-modulated trajectory intervention dynamically injects context-specific impulses via anchor-based gating. Extensive experiments on six arithmetic and logical benchmarks across four representative models demonstrate that STIR improves average accuracy by 1.9% to 7.5% while reducing average token consumption by up to 35% compared to vanilla decoding. These findings demonstrate that the benefits of explicit chain-of-thought can be realized through dynamic latent trajectory control, internalizing the reasoning process to bypass the explicit generation while achieving superior fidelity. Our code is available at https://github.com/sznnzs/LLM-Latent-Action.