대규모 언어 모델은 추론 시점 계획에서 잘못된 첫 단계를 밟을 수 있다

Large Language Models Can Take False First Steps at Inference-time Planning

대규모 언어 모델(LLM)은 훈련 과정에서 시퀀스 수준의 계획 능력을 습득하는 것으로 알려져 있으나, 추론 시점에 드러나는 계획 행동은 종종 근시안적이며 이러한 능력과 불일치하는 모습을 보인다. 우리는 변화하는 생성 컨텍스트에 계획 행동의 근거를 둠으로써 이러한 격차에 대한 베이지안적 설명을 제안한다. 즉, 자연어와 LLM이 내면화한 언어 사이의 미묘한 차이를 고려할 때, 누적된 자가 생성(self-generated) 컨텍스트가 추론 중 계획의 변화(planning-shift)를 유도하여 마치 계획 능력이 손상된 것과 같은 현상을 초래한다는 것이다. 우리는 두 가지 통제된 실험을 통해 제안된 모델을 추가로 검증하였다. 첫 번째 무작위 생성 작업에서는 인간 프롬프트 하에서 제약된 계획을 보이다가 자가 생성 컨텍스트가 쌓이면서 계획 강도가 증가함을 입증하였고, 두 번째 가우시안 샘플링 작업에서는 자가 생성 시퀀스에 조건을 걸었을 때 초기 편향이 감소함을 보여주었다. 이러한 연구 결과는 LLM이 추론 중에 어떻게 앞서 계획하는지를 특성화하기 위한 이론적 설명과 실증적 증거를 제공한다.

Large language models (LLMs) have been shown to acquire sequence-level planning abilities during training, yet their planning behavior exhibited at inference time often appears short-sighted and inconsistent with these capabilities. We propose a Bayesian account for this gap by grounding planning behavior in the evolving generative context: given the subtle differences between natural language and the language internalized by LLMs, accumulated self-generated context drives a planning-shift during inference and thereby creates the appearance of compromised planning behavior. We further validate the proposed model through two controlled experiments: a random-generation task demonstrating constrained planning under human prompts and increasing planning strength as self-generated context accumulates, and a Gaussian-sampling task showing reduced initial bias when conditioning on self-generated sequences. These findings provide a theoretical explanation along with empirical evidence for characterizing how LLMs plan ahead during inference.