페어-인, 페어-아웃: 효율적인 LLM을 위한 잠재 다중 토큰 예측

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

긴 추론 과정은 현대 대규모 언어 모델의 주요 추론 비용 요소로 작용하는 자동 회귀 디코딩 방식을 지배하고 있습니다. 기존 방법들은 입력 측면(잠재 압축) 또는 출력 측면(추측적 디코딩 및 다중 토큰 예측, MTP) 중 하나를 목표로 하지만, 이 두 가지 접근 방식은 독립적으로 연구되어 왔습니다. 또한, 출력 측면 방법을 사용하면 MTP가 예측한 신뢰성이 낮은 임시 토큰을 검증하기 위해 비용이 많이 드는 검증 단계를 거쳐야 합니다. 이러한 문제를 해결하기 위해, 우리는 잠재 압축기와 MTP 헤드를 상호 보완적인 작업으로 간주하는 extbf{페어-인, 페어-아웃 (PIPO)}를 제안합니다. 잠재 압축기는 두 개의 입력 토큰을 하나의 잠재 표현으로 결합하는 반면, MTP 헤드는 하나의 숨겨진 상태를 하나의 추가 출력 토큰으로 확장합니다. 신뢰성을 저해하지 않고 검증 비용을 제거하기 위해, PIPO는 임시 토큰을 수락할지 여부를 결정하는 경량 신뢰도 헤드를 훈련합니다. 온-폴리시 증류(OPD)가 추측적 디코딩의 거부 샘플링 기준과 자연스럽게 일치한다는 것을 확인했으며, 따라서 신뢰도 헤드는 추가적인 비용 없이 OPD와 함께 훈련될 수 있습니다. Qwen3.5-4B 및 9B 모델을 기반으로 AIME 2025, GPQA-Diamond, LiveCodeBench v6 및 LongBench v2에서 수행한 실험 결과, PIPO는 일반 디코딩에 비해 pass@4 성능을 최대 +7.15 포인트 향상시키고, 첫 번째 토큰 지연 시간을 최대 2.64배 단축하고, 토큰당 지연 시간을 최대 2.07배 단축했습니다.

Long chain-of-thought reasoning has made autoregressive decoding the dominant inference cost of modern large language models. Existing methods target either the input side (latent compression) or the output side (speculative decoding and multi-token prediction, MTP), but the two lines of work have been pursued independently. Moreover, output-side methods must incur an expensive verifier pass to validate the unreliable draft tokens predicted by MTP. To address these issues, we propose \textbf{Pair-In, Pair-Out (PIPO)}, which unifies both sides by viewing a latent compressor and an MTP head as mirror-image operations: the compressor folds two input tokens into one latent representation, while the MTP head unfolds one hidden state into one additional output token. To remove the verifier cost without sacrificing reliability, PIPO trains a lightweight confidence head that decides whether draft tokens should be accepted. We observe that On-Policy Distillation (OPD) naturally matches the rejection-sampling criterion of speculative decoding, so the confidence head can be trained alongside OPD with negligible extra cost. Experiments on AIME 2025, GPQA-Diamond, LiveCodeBench v6, and LongBench v2 with Qwen3.5-4B and 9B backbones show that PIPO improves pass@4 over regular decoding by up to $+7.15$ points, while delivering up to $2.64\times$ first-token-latency and $2.07\times$ per-token-latency speedups.