LatentChem: 텍스트 기반 추론에서 잠재적 사고로의 전환 - 화학적 추론에서의 응용

LatentChem: From Textual CoT to Latent Thinking in Chemical Reasoning

화학 분야의 대규모 언어 모델(LLM)은 복잡한 추론을 수행하기 위해 주로 자연어 기반의 명시적인 연쇄적 사고(Chain-of-Thought, CoT) 방식을 사용합니다. 그러나 화학적 추론은 본질적으로 연속적이고 구조적이며, 이를 이산적인 언어 토큰으로 강제하는 것은 근본적인 표현 불일치를 초래하여 효율성과 성능을 저해합니다. 본 연구에서는 LatentChem을 제안합니다. LatentChem은 화학 계산과 텍스트 생성을 분리하는 잠재적 추론 인터페이스로, 모델이 다단계 추론을 연속적인 잠재 공간에서 직접 수행하면서 최종 결과에 대해서만 언어를 출력하도록 합니다. 놀랍게도, 모델을 작업 성공에만 최적화할 때, 모델은 자발적으로 추론 과정을 내재화하며, 장황한 텍스트 설명을 점차적으로 버리고 암묵적인 잠재적 계산을 선호하는 경향을 보입니다. 이러한 변화는 단순한 스타일 변화가 아니라 계산적으로도 유리합니다. 다양한 화학적 추론 벤치마크에서 LatentChem은 ChemCoTBench에서 강력한 CoT 기반 모델을 기준으로 59.88%의 우수한 성능을 보였으며, 평균적으로 10.84배 빠른 추론 속도를 달성했습니다. 이러한 결과는 화학적 추론이 이산적인 언어 경로보다는 연속적인 잠재적 역학을 통해 보다 자연스럽고 효과적으로 구현될 수 있다는 경험적 증거를 제공합니다.

Chemical large language models (LLMs) predominantly rely on explicit Chain-of-Thought (CoT) in natural language to perform complex reasoning. However, chemical reasoning is inherently continuous and structural, and forcing it into discrete linguistic tokens introduces a fundamental representation mismatch that constrains both efficiency and performance. We introduce LatentChem, a latent reasoning interface that decouples chemical computation from textual generation, enabling models to perform multi-step reasoning directly in continuous latent space while emitting language only for final outputs. Remarkably, we observe a consistent emergent behavior: when optimized solely for task success, models spontaneously internalize reasoning, progressively abandoning verbose textual derivations in favor of implicit latent computation. This shift is not merely stylistic but computationally advantageous. Across diverse chemical reasoning benchmarks, LatentChem achieves a 59.88\% non-tie win rate over strong CoT-based baselines on ChemCoTBench, while delivering a 10.84$\times$ average inference speedup. Our results provide empirical evidence that chemical reasoning is more naturally and effectively realized as continuous latent dynamics rather than discretized linguistic trajectories.