PreFlect: 대규모 언어 모델 에이전트의 회고적 사고에서 선구적 사고로의 전환

PreFlect: From Retrospective to Prospective Reflection in Large Language Model Agents

최첨단 대규모 언어 모델 에이전트는 성능 향상을 위해 자체 성찰 기능을 사용하는데, 에이전트는 반복적으로 과거 행동을 분석하여 오류를 수정합니다. 그러나 기존의 성찰 방식은 본질적으로 회고적입니다. 즉, 에이전트가 행동하고, 실패를 관찰한 후에야 오류를 수정하려고 시도합니다. 본 연구에서는 PreFlect라는 선구적 성찰 메커니즘을 소개합니다. PreFlect는 에이전트가 실행 전에 계획을 비판하고 개선함으로써, 사후 수정 방식에서 사전 실행 예측 방식으로 패러다임을 전환합니다. 근거 있는 선구적 성찰을 지원하기 위해, 우리는 과거 에이전트 실행 경로에서 발생하는 계획 오류를 분석하여 반복적으로 나타나는 성공 및 실패 패턴을 파악합니다. 또한, 예상치 못한 상황 발생 시 실행 중에 계획을 동적으로 재계획하는 메커니즘을 통해 선구적 성찰을 보완합니다. 다양한 벤치마크에서의 평가 결과, PreFlect는 복잡한 실제 작업에서 에이전트의 전반적인 유용성을 크게 향상시키며, 강력한 성찰 기반 모델과 여러 복잡한 에이전트 아키텍처보다 우수한 성능을 보였습니다. 관련 코드는 https://github.com/wwwhy725/PreFlect 에서 확인할 수 있습니다.

Advanced large language model agents typically adopt self-reflection for improving performance, where agents iteratively analyze past actions to correct errors. However, existing reflective approaches are inherently retrospective: agents act, observe failure, and only then attempt to recover. In this work, we introduce PreFlect, a prospective reflection mechanism that shifts the paradigm from post hoc correction to pre-execution foresight by criticizing and refining agent plans before execution. To support grounded prospective reflection, we distill planning errors from historical agent trajectories, capturing recurring success and failure patterns observed across past executions. Furthermore, we complement prospective reflection with a dynamic re-planning mechanism that provides execution-time plan update in case the original plan encounters unexpected deviation. Evaluations on different benchmarks demonstrate that PreFlect significantly improves overall agent utility on complex real-world tasks, outperforming strong reflection-based baselines and several more complex agent architectures. Code will be updated at https://github.com/wwwhy725/PreFlect.