K-포싱: 푸시-포워드 언어 모델을 이용한 동시 다음 k 토큰 디코딩

K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling

자기 회귀(AR) 언어 모델링은 텍스트 생성의 주류 패러다임이지만, 토큰 단위로 순차적으로 디코딩하는 방식은 추론 과정에서 메모리 병목 현상을 유발하고 비효율적입니다. 기존의 가속화 방법들은 특정 조건 하에서 속도 향상을 제공할 수 있지만, 산업 규모 배포에 가장 중요한 고부하 배치 서비스 문제를 직접적으로 해결하지 못합니다. 본 논문에서는 동시 다음 k 토큰 디코딩을 위한 푸시-포워드 언어 모델링 패러다임인 K-포싱을 소개합니다. K-포싱은 기존의 AR 모델을 조건부 푸시-포워드 매핑으로 변환하여, 독립적인 균일 노이즈 변수를 단일 순전파 과정에서 여러 개의 미래 토큰 샘플로 변환합니다. 이러한 설계는 고정 길이 출력을 유지하고, 기존의 AR 모델을 기반으로 하며, 표준 AR 서비스 인프라와의 호환성을 유지합니다. 우리는 점진적인 자기-강화 증류를 통해 이 매핑을 학습시키는데, 이는 예측 창 크기를 점차적으로 확장하면서 학생 모델이 AR 모델의 시퀀스 분포와 밀접하게 일치하도록 합니다. 본 논문에서는 표준적인 인과 관계 변환기(Transformer) 기반 구조를 사용하여 LM1B 및 OpenWebText 데이터셋에서 K-포싱을 평가했습니다. K-포싱은 순전파 과정당 k = 4개의 토큰을 생성하도록 적극적으로 구성되었을 때, 다양한 배치 크기에서 약 2.4~3.5배의 속도 향상을 제공하며, 동시에 AR 모델에 비해 미미한 품질 저하를 보입니다. 현대 대규모 언어 모델(LLM)의 수명 동안 추론 과정이 전체 계산 비용에서 점점 더 큰 비중을 차지함에 따라, K-포싱은 실제 고부하 환경에서의 AR 생성 속도를 가속화할 수 있는 유망한 방법을 제시합니다.

Autoregressive (AR) language modeling is the dominant paradigm for text generation, yet its sequential token-by-token decoding makes inference memory-bound and inefficient. Existing acceleration approaches, such as speculative decoding and diffusion language models, can yield speedups under certain conditions but do not directly address high-load batch serving--the scenario most critical for industrial-scale deployment. We introduce K-Forcing, a push-forward language modeling paradigm for joint next-k-token decoding. K-Forcing distills an existing AR model into a conditional push-forward mapping--one that transforms independent uniform noise variables into a joint sample of multiple future tokens in a single forward pass. This design preserves fixed-length outputs, reuses the AR teacher backbone, and remains compatible with standard AR serving infrastructure. We train this mapping via progressive self-forcing distillation, which gradually expands the prediction window while enabling the student to closely match the sequence distribution of the AR teacher. We evaluate K-Forcing on LM1B and OpenWebText using a standard causal Transformer backbone. When aggressively configured to generate k = 4 tokens per forward pass, K-Forcing delivers approximately 2.4-3.5x speedup across different batch sizes, while incurring modest quality degradation relative to its AR teacher. As inference increasingly dominates the lifetime compute cost of modern LLMs, K-Forcing offers a promising route toward accelerating AR generation under real-world high-load deployment.