언어 모델을 위한 계층적 잠재 변수 예측

Hierarchical Latent Prediction for Language Models

기존의 다음 토큰 예측(NTP) 방식은 언어 모델 사전 학습의 기반이 되지만, 장기적인 추론 및 계획 수립에는 최적이 아닐 수 있습니다. 최근 연구에서는 멀티 토큰 예측(MTP)과 다음 잠재 변수 예측(NextLat) 등의 방법으로 여러 미래 토큰을 예측하거나 잠재 공간에서 자기 지도 방식으로 예측하여 이러한 문제를 해결하고자 시도했습니다. 그러나 이러한 보조 목표들은 예측 범위가 제한적이거나 다단계 추론 과정에서 오류가 누적되는 문제가 있습니다. 본 연구에서는 계층적 잠재 변수 예측(HiLP) 방법을 제안합니다. HiLP는 상위 레벨의 추상적인 잠재 변수를 도입하여 잠재 공간에서의 추론 과정에서 발생하는 오류 축적 효과를 줄이는 데 도움을 줍니다. 실험 결과, HiLP는 더 긴 범위의 일관성 있는 신념 상태 표현을 가능하게 하며, 코딩 및 다단계 추론 벤치마크에서 제안하는 방법의 효과성을 입증합니다. 또한, HiLP는 더욱 효율적인 디코딩 방식을 제공합니다.

While standard Next-Token Prediction (NTP) lays the foundation of language model pre- training, its teacher-forced training paradigm may not be optimal for long-horizon reasoning and planning. Recent works such as Multi-Token Prediction (MTP) and Next-Latent prediction (NextLat) try to mitigate the problem through predicting multiple future tokens and self-supervised prediction in the latent space. However, those auxiliary objectives either have a limited horizon or suffer from compounding error from multi-step rollout. We introduce Hierarchical Latent Prediction (HiLP), which introduces an auxiliary higher-level abstract latent to help reduce the error accumulation effect in latent-space rollouts. Experiments show that HiLP can lead to longer-horizon coherent belief state representation and demonstrate the effectiveness of our method across coding and multi-step reasoning benchmarks, and offers more speculative decoding efficiency.