밀집 상태를 넘어서: 잠재적 추론을 위한 능동적 연산자로의 희소 트랜스코더 격상

Beyond Dense States: Elevating Sparse Transcoders to Active Operators for Latent Reasoning

잠재적 추론(Latent reasoning)은 생각의 사슬(CoT)을 연속적인 은닉 상태로 압축하지만, 기존 방법들은 해석 및 제어가 어려운 밀집 잠재 전이(dense latent transitions)에 의존하고 있습니다. 반면, 희소 표현 모델은 사람이 해석 가능한 의미론적 특징을 밝혀내지만 주로 사후 분석에 국한되어 있다는 한계가 있습니다. 본 연구에서는 이러한 간극을 해소하기 위해, 희소 의미론적 전이를 통해 다단계 연산을 수행하도록 기능적 희소 트랜스코더를 능동적 추론 연산자로 격상시킨 잠재적 추론 프레임워크인 LSTR(Latent Sparse Transcoder Reasoning)을 제안합니다. LSTR의 핵심은 선형 매니폴드 전송과 희소 의미론적 업데이트를 분리하는 잔차 스킵(residual skip) 아키텍처 기반의 잠재 전이 트랜스코더(LTT)를 사용하여, 명시적인 희소성 제약을 통해 의미론적 해상도를 제어할 수 있게 하는 것입니다. 광범위한 실험을 통해 LSTR이 추론 정확도와 압축 효율성을 유지하면서도 밀집 잠재 베이스라인에 비해 해석 가능성을 크게 향상시킴을 확인했습니다. 또한 인과적 개입 및 궤적 분석은 이러한 희소 특징들이 추론 과정에서 해석 가능할 뿐만 아니라 인과적으로도 유효한 연산자로 작용함을 입증합니다.

Latent reasoning compresses the chain-of-thought (CoT) into continuous hidden states, yet existing methods rely on dense latent transitions that remain difficult to interpret and control. Meanwhile, sparse representation models uncover human-interpretable semantic features but remain largely confined to post-hoc analysis. We reconcile this tension by proposing LSTR (Latent Sparse Transcoder Reasoning), a latent reasoning framework that elevates functional sparse transcoders into active reasoning operators to perform multi-step computation through sparse semantic transitions. At its core, LSTR employs a Latent Transition Transcoder (LTT) with a residual skip architecture that decouples linear manifold transport from sparse semantic updates, enabling controllable semantic resolution via explicit sparsity constraints. Extensive experiments show that LSTR preserves reasoning accuracy and compression efficiency while substantially improving interpretability over dense latent baselines. Causal interventions and trajectory analyses further demonstrate that these sparse features act as both interpretable and causally effective operators in the reasoning process.