멀티 토큰 예측과 잠재 의미 강화 기반의 일관된 세계 모델 구축 연구

Toward Consistent World Models with Multi-Token Prediction and Latent Semantic Enhancement

대규모 언어 모델(LLM)이 일관성 있는 내부 세계 모델을 구축하는지에 대한 논쟁은 여전히 중요한 주제입니다. 기존의 다음 토큰 예측(NTP) 방식은 단일 단계의 감독 학습에 초점을 맞추는 반면, 멀티 토큰 예측(MTP)은 보다 구조화된 표현 학습에 유망한 결과를 보여주었습니다. 본 연구에서는 MTP의 기울기 유도 편향에 대한 이론적 분석을 제시하며, 실험적 증거를 통해 MTP가 기울기 결합을 통해 표현 공간의 수축을 유도하여 내부 신념 상태로의 수렴을 촉진한다는 것을 보여줍니다. 그러나 표준 MTP는 종종 구조적 환각 문제를 겪으며, 이는 이산적인 토큰 감독 학습이 잠재 공간에서 환경 제약을 위반하는 비정상적인 단축 경로를 유발할 수 있기 때문입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 예측을 실제 은닉 상태 경로에 연결하는 새로운 방법인 잠재 의미 강화 MTP(LSE-MTP)를 제안합니다. 합성 그래프 및 실제 맨해튼 택시 데이터에 대한 실험 결과, LSE-MTP는 이산적인 토큰과 연속적인 상태 표현 사이의 간극을 효과적으로 해소하고, 표현 정렬을 강화하며, 구조적 환각을 줄이고, 외부 간섭에 대한 강건성을 향상시키는 것을 확인했습니다.

Whether Large Language Models (LLMs) develop coherent internal world models remains a core debate. While conventional Next-Token Prediction (NTP) focuses on one-step-ahead supervision, Multi-Token Prediction (MTP) has shown promise in learning more structured representations. In this work, we provide a theoretical perspective analyzing the gradient inductive bias of MTP, supported by empirical evidence, showing that MTP promotes the convergence toward internal belief states by inducing representational contractivity via gradient coupling. However, we reveal that standard MTP often suffers from structural hallucinations, where discrete token supervision encourages illegal shortcuts in latent space that violate environmental constraints. To address this, we propose a novel method Latent Semantic Enhancement MTP (LSE-MTP), which anchors predictions to ground-truth hidden state trajectories. Experiments on synthetic graphs and real-world Manhattan Taxi Ride show that LSE-MTP effectively bridges the gap between discrete tokens and continuous state representations, enhancing representation alignment, reducing structural hallucinations, and improving robustness to perturbations.