에이전트가 너무 일찍 결정을 내릴 때: LLM 에이전트의 조기 결정 현상 진단

When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents

장기간 작업을 수행하는 LLM 기반 에이전트는 종종 눈에 띄지 않게 실패합니다. 즉, 초기 단계에서 증거를 특정 방식으로 해석하고, 이후 실행 과정 전체에서 해당 해석을 옹호하는 경향이 있습니다. 우리는 이러한 현상을 '조기 결정(premature commitment)'이라고 부릅니다. 최종 답변의 정확도를 평가하는 방식은 이러한 실패 모드를 감지하지 못합니다. 왜냐하면 이는 최종 답변만을 보고, 에이전트가 이미 잘못된 경로로 진입했는지 여부를 판단하지 않기 때문입니다. 본 연구에서는 '표현적 결정(representational commitment)'을 고정된 추론 단계에서 여러 실행 간에 숨겨진 상태 벡터가 수렴하는 현상으로 정의하고, 이를 사용하여 에이전트의 추론 경로 일관성을 조기에 진단하는 방법을 제시합니다. HotpotQA 데이터셋에서 ReAct 프롬프팅을 사용하는 Llama-3.1-70B 모델의 경우, 4번째 단계의 숨겨진 상태 벡터의 유사도가 이후 행동의 일관성을 예측하는데 유용함을 확인했습니다 (r = -0.35, 부분 상관 계수 r = -0.45). 이러한 경향은 Qwen-2.5-72B 및 Phi-3-14B 모델에서도 관찰되었으며, StrategyQA 데이터셋에서도 유사한 결과를 보였습니다 (r = -0.83). 중요한 점은 이 신호가 정답 여부를 나타내는 것이 아니라는 것입니다. 즉, '조기 결정'된 상태는 에이전트가 특정 결론에 도달했는지 여부만을 알려줄 뿐, 그 결론이 맞는지 틀린지 여부는 나타내지 않습니다. 런타임 모니터는 숨겨진 상태 벡터를 기반으로 일관성 없는 추론 경로를 감지하며, AUROC 값이 최대 0.97 (더 엄격한 기준으로 0.85~0.88)에 달합니다. 또한, 특정 프롬프팅 기법을 사용하면 에이전트의 행동 변동성을 28% 감소시킬 수 있으며, 이는 정확도에 통계적으로 유의미한 영향을 미치지 않습니다. 추가적으로, 이 신호가 자체 일관성 계산을 향상시킬 수 있는지 확인하기 위해 더 어려운 벤치마크를 사용했지만, 그 효과는 미미했으며, 간단한 출력 기반 방법으로도 유사한 성능을 얻을 수 있었습니다. 따라서 본 연구에서 제시하는 방법은 에이전트의 숨겨진 프로세스 오류를 진단하는 데 유용하지만, 일반적인 정확도 향상을 위한 도구로 활용하기에는 한계가 있습니다.

Long-horizon LLM agents can fail quietly: they settle on one reading of the evidence early, then spend the rest of the run defending it. We call this premature commitment. Final-answer scoring misses the failure mode because it sees only the answer, not whether the process has already collapsed to a stable path. We define representational commitment as cross-run hidden-state convergence at a fixed reasoning step, and use it as an early diagnostic of trajectory consistency. On Llama-3.1-70B running ReAct on HotpotQA, step-4 hidden-state similarity predicts downstream behavioral consistency (r = -0.35, partial r = -0.45), with a localized temporal and layer-wise signature. The signal replicates across Qwen-2.5-72B and Phi-3-14B, and on StrategyQA (r = -0.83). It does not track correctness: committed-wrong and committed-correct questions are not separable in activation similarity. That boundary is central to the claim. Commitment tells us whether an agent has settled, not whether it is right. A runtime monitor detects inconsistent trajectories from hidden states at AUROC up to 0.97 (0.85--0.88 under a stricter split), and a prompting intervention cuts behavioral variance by 28% against a token-matched control while leaving accuracy statistically unchanged. We also test whether the signal can route self-consistency compute; on a harder benchmark it helps only modestly and is matched by a simpler output-based baseline. The result is a diagnostic for a hidden process failure, with clear limits rather than a general accuracy lever.