오토레그레션 없이 LLM의 수치 예측 분포를 추론하는 방법

Eliciting Numerical Predictive Distributions of LLMs Without Autoregression

최근 대규모 언어 모델(LLM)은 문맥 학습 능력을 활용하여 시계열 예측 및 표 예측과 같은 회귀 작업에 성공적으로 적용되었습니다. 그러나 LLM의 오토레그레시브 디코딩 과정은 연속 값을 가진 출력에 적합하지 않을 수 있으며, 수치 목표에 대한 예측 분포를 얻으려면 반복적인 샘플링이 필요하여 높은 계산 비용과 추론 시간을 초래합니다. 본 연구에서는 명시적인 오토레그레시브 생성을 사용하지 않고도 LLM 예측의 분포적 특성을 파악할 수 있는지 조사합니다. 이를 위해, LLM의 내부 표현으로부터 수치 출력 분포의 통계적 함수(예: 평균, 중앙값, 분위수)를 직접 예측하도록 훈련된 일련의 회귀 프로브를 연구했습니다. 우리의 결과는 LLM 임베딩이 예측 분포의 요약 통계, 특히 수치적 불확실성에 대한 유용한 정보를 담고 있음을 시사합니다. 이 연구는 LLM이 수치 작업에서 불확실성을 어떻게 내부적으로 인코딩하는지, 그리고 샘플링 기반 접근 방식에 대한 경량화된 대안의 실현 가능성에 대한 새로운 질문을 제기합니다.

Large Language Models (LLMs) have recently been successfully applied to regression tasks -- such as time series forecasting and tabular prediction -- by leveraging their in-context learning abilities. However, their autoregressive decoding process may be ill-suited to continuous-valued outputs, where obtaining predictive distributions over numerical targets requires repeated sampling, leading to high computational cost and inference time. In this work, we investigate whether distributional properties of LLM predictions can be recovered without explicit autoregressive generation. To this end, we study a set of regression probes trained to predict statistical functionals (e.g., mean, median, quantiles) of the LLM's numerical output distribution directly from its internal representations. Our results suggest that LLM embeddings carry informative signals about summary statistics of their predictive distributions, including the numerical uncertainty. This investigation opens up new questions about how LLMs internally encode uncertainty in numerical tasks, and about the feasibility of lightweight alternatives to sampling-based approaches for uncertainty-aware numerical predictions.