증상을 치료하는 것이 아니라 증폭기를 수리하라: 에이전트 실행을 위한 안정적인 월드 모델 수정

Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

에이전트 계획이 짧은 작업 체인에서 수천 또는 수만 단계의 지속적인 워크플로우로 발전함에 따라, 오류는 고립된 예측보다는 큰 계획 그래프 내에서 발생할 것입니다. 모든 실수를 일으킬 때마다 전체 그래프를 재계획하는 것은 계산적으로 현실적이지도 바람직하지도 않습니다. 전체 그래프 재생은 많은 컨텍스트 예산을 소비하고, LLM에게 관련 없는 다양한 증상을 노출시키며, 장기 컨텍스트 검색 성능을 저하시킬 수 있습니다. 본 논문에서는 이러한 시스템에 필요한 핵심 요소인, 실패한 계획 그래프를 현장에서 수정하는 월드 모델 수정기를 연구합니다. 우리는 두 가지 유형의 수정기를 비교했습니다. 첫 번째는 일반적인 엔지니어링 접근 방식으로, 노드와 엣지를 스캔하고, 의심스러운 지역을 선택하여 LLM에게 해당 부분을 수정하도록 요청합니다. 강력한 엔지니어링 기반의 LLM 수정기를 구현한 결과, 특히 매우 큰 컨텍스트를 제공할 때 유용하다는 것을 확인했습니다. 두 번째 유형은 저희가 제안하는 방법인 WM-SAR(월드 모델 서브그래프 증폭 및 수리)입니다. 이는 눈에 보이는 증상을 탐색하는 대신, 서브그래프 증폭으로부터 역으로 시작하여 오류를 지속적으로 증폭시키는 노드와 엣지를 식별하고, 오직 해당 인과 관계 서브그래프만 LLM에게 전달합니다. 그래프 시뮬레이션 및 LLM 수정 실험 결과, WM-SAR은 현실적인 토큰 예산 하에서 엔지니어링 기반 수정기보다 훨씬 뛰어난 성능을 보이며, 작은 영역으로 거의 전체 그래프를 안정화하고, LLM에게 더 명확한 수정 목표를 제공합니다.

As agent planning moves from short tool chains toward persistent workflows with thousands or tens of thousands of steps, failures will occur inside large planning graphs rather than in isolated predictions. Replanning the entire graph after every mistake is neither computationally realistic nor desirable: full-graph replay consumes large context budgets, exposes the LLM to many irrelevant symptoms, and can degrade long-context retrieval. This paper studies the missing component in such systems: a world-model corrector that repairs the failed planning graph in place. We compare two families of correctors. The first is the common engineering approach: scan nodes and edges, choose a suspicious local region, and ask an LLM to repair it. We implement strong engineering LLM correctors and find that they can help, especially when given very large contexts. The second family is our approach, WM-SAR (World-Model Subgraph Amplification Repair): instead of scanning for visible symptoms, it works backward from subgraph amplification, identifies the nodes and edges that keep re-amplifying error, and sends only that causal subgraph to the LLM. Across graph simulations and LLM repair experiments, WM-SAR substantially outperforms engineering correctors under realistic token budgets, achieves near-whole-graph stabilization with a compact region, and gives the LLM a cleaner repair target.