추론이 계획에 실패하는 이유: LLM 에이전트의 장기 의사 결정에 대한 계획 중심 분석

Why Reasoning Fails to Plan: A Planning-Centric Analysis of Long-Horizon Decision Making in LLM Agents

대규모 언어 모델(LLM) 기반 에이전트는 단기적으로는 강력한 단계별 추론 능력을 보이지만, 종종 장기적인 계획 수립 과정에서 일관성 있는 행동을 유지하지 못합니다. 우리는 이러한 실패가 근본적인 불일치에서 비롯된다고 주장합니다. 단계별 추론은 단계별 탐욕적인 정책을 유발하며, 이는 단기적으로는 적합하지만 장기적인 계획에서는 효과적이지 않습니다. 왜냐하면 초기 행동은 지연된 결과를 고려해야 하기 때문입니다. 본 연구에서는 계획 중심적인 관점에서 명시적인 상태 전환과 평가 신호를 갖는 결정론적이고 완전하게 구조화된 환경에서 LLM 기반 에이전트를 연구합니다. 우리의 분석 결과, 추론 기반 정책의 핵심적인 실패 원인은 단계별 점수를 기반으로 한 지역적으로 최적의 선택이 초기에 이루어지는 의사 결정 오류이며, 이는 시간이 지남에 따라 체계적으로 증폭되어 회복하기 어렵습니다. 우리는 미래를 고려한 계획의 최소한의 구현 방식으로, 명시적인 예측, 가치 전파, 제한적인 약속을 하나의 모델에서 구현하는 FLARE(Future-aware Lookahead with Reward Estimation)를 소개합니다. FLARE는 다운스트림 결과가 초기 의사 결정에 영향을 미치도록 설계되었습니다. 여러 벤치마크, 에이전트 프레임워크, LLM 백본을 통해 FLARE는 지속적으로 작업 성능과 계획 수준의 행동을 개선하며, LLaMA-8B가 FLARE를 사용할 때 GPT-4o의 표준 단계별 추론 방식을 사용하는 경우보다 더 나은 성능을 보이는 경우가 많습니다. 이러한 결과는 추론과 계획 사이의 명확한 차이를 보여줍니다.

Large language model (LLM)-based agents exhibit strong step-by-step reasoning capabilities over short horizons, yet often fail to sustain coherent behavior over long planning horizons. We argue that this failure reflects a fundamental mismatch: step-wise reasoning induces a form of step-wise greedy policy that is adequate for short horizons but fails in long-horizon planning, where early actions must account for delayed consequences. From this planning-centric perspective, we study LLM-based agents in deterministic, fully structured environments with explicit state transitions and evaluation signals. Our analysis reveals a core failure mode of reasoning-based policies: locally optimal choices induced by step-wise scoring lead to early myopic commitments that are systematically amplified over time and difficult to recover from. We introduce FLARE (Future-aware Lookahead with Reward Estimation) as a minimal instantiation of future-aware planning to enforce explicit lookahead, value propagation, and limited commitment in a single model, allowing downstream outcomes to influence early decisions. Across multiple benchmarks, agent frameworks, and LLM backbones, FLARE consistently improves task performance and planning-level behavior, frequently allowing LLaMA-8B with FLARE to outperform GPT-4o with standard step-by-step reasoning. These results establish a clear distinction between reasoning and planning.