LLM 에이전트 계획을 위한 자기 진화형 세계 모델

Self-Evolving World Models for LLM Agent Planning

세계 모델은 장기적인 LLM 에이전트에 예측 능력을 부여하는 효과적인 방법입니다. 이는 실행 전에 행동의 결과를 예측하여 제공합니다. 그러나 신뢰할 수 없는 예측은 무시되거나 오용될 수 있으며, 심지어 하위 의사 결정 과정을 저하시킬 수도 있습니다. 본 논문에서는 WorldEvolver라는 자기 진화형 세계 모델 프레임워크를 소개합니다. 이 프레임워크는 배포 시점을 기준으로 컨텍스트를 수정하지만, 하위 에이전트와 모든 모델 파라미터를 고정된 상태로 유지합니다. WorldEvolver는 세 가지 모듈을 통합합니다: (i) 에피소드 메모리: 검색 기반 시뮬레이션을 통해 실제 행동 전환을 활용합니다; (ii) 의미론적 메모리: 예측과 관측 간의 불일치로부터 지속적인 휴리스틱 규칙을 추출합니다; 그리고 (iii) 선택적 예측: 에이전트 추론 컨텍스트에 통합되기 전에 낮은 신뢰도의 예측을 필터링합니다. 우리는 WorldEvolver를 ALFWorld 및 ScienceWorld에서 평가하여 Word2World에서의 세계 모델 예측 정확도와 AgentBoard에서의 하위 에이전트 성공률을 측정했습니다. 광범위한 실험 결과, WorldEvolver는 세 가지 기본 모델 모두에서 가장 높은 예측 정확도를 달성했으며, 다른 세계 모델 기준보다 하위 에이전트 성공률에서 더 우수한 성능을 보였습니다. 이는 테스트 시점의 메모리 수정이 예측 정확도와 계획 성능을 향상시킨다는 것을 입증합니다.

World models offer a principled way to equip long-horizon LLM agents with foresight: predictions of action consequences before execution. However, unreliable foresight can be ignored, misused, or even degrade downstream decision-making. In this paper, we introduce WorldEvolver, a self-evolving world model framework that revises its deployment-time context while keeping the downstream agent and all model parameters frozen. WorldEvolver integrates three modules: (i) Episodic Memory, which exploits real action transitions through retrieval-based simulation; (ii) Semantic Memory, which extracts persistent heuristic rules from prediction-observation mismatches; and (iii) Selective Foresight, which filters low-confidence predictions before integrating them into agent reasoning context. We evaluate WorldEvolver on ALFWorld and ScienceWorld, measuring world model prediction accuracy on Word2World and downstream agent success rate on AgentBoard. Extensive experiments show that WorldEvolver achieves the highest prediction accuracy across three backbones and leads other world model baselines on downstream agent success rate, demonstrating that test-time memory revision enhances both predictive fidelity and planning performance.