MemWM: 메모리 기반 텍스트 월드 모델
MemWM: Memory-Augmented Text-Based World Model
월드 모델은 에이전트가 행동에 대한 환경 상태 변화를 예측하여 계획을 수립하는 데 점점 더 많이 사용되고 있습니다. 그러나 원활한 다음 상태 예측이라 할지라도 여전히 중요한 사실을 누락하거나 제품 속성을 왜곡하거나 잘못된 전환 규칙을 적용할 수 있습니다. 이러한 체계적인 예측 오류 문제를 해결하기 위해, 우리는 메모리 기반 텍스트 월드 모델인 MemWM을 소개합니다. MemWM은 전환 규칙, 상태 캐시 및 예측하기 어려운 사실들을 담고 있는 '월드 메모리'를 활용하여 다음 상태 예측에 대한 가이드 역할을 합니다. 우리는 구조화된 상태 충실도(SSF)라는 지표를 사용하여 예측된 상태가 얼마나 정확한지 평가했습니다. SSF는 벤치마크별 사실과 필드를 기반으로 점수를 매깁니다. 메모리 기반 학습은 SFT (State Fidelity Training)에 비해 최대 206.3%까지 SSF 성능을 향상시켰습니다. 전체 계획 설정에서, 우리는 정책 모델을 고정하고 정책 측면에서 '월드 스킬'을 제공합니다. 이는 검색된 작업 수준의 기술과 단계별 수정 지침을 통해 행동 선택을 지원합니다. ALFWorld, WebShop 및 ScienceWorld 환경에서, 메모리 기반 에이전트는 SFT로 학습된 월드 모델 에이전트보다 더 높은 성공률을 보였으며, 최대 65.4%의 상대적 성능 향상을 달성했습니다. 추가적인 민감도 분석 결과, 검색된 메모리는 다양한 메모리 용량 및 행동 예산 설정에서 작업 성공률과 효율성을 향상시키는 것으로 나타났습니다.
World models are increasingly used to support planning in agents by predicting how environment states evolve in response to agent actions. Yet fluent next-state predictions can still omit task-critical facts, corrupt product attributes, or apply incorrect transition rules. To address such systematic prediction errors, we introduce MemWM, a memory-augmented text-based world model. MemWM uses world memory, a curated memory bank of transition rules, state caches, and hard-to-predict facts, to condition next-state imagination. We evaluate factual state preservation with Structured State Fidelity (SSF), which scores predicted states through benchmark-specific facts and fields. Compared with SFT, memory-augmented training improves SSF by up to 206.3%. In the full planning setting, we keep the policy model frozen and provide policy-side world skill: retrieved task-level skills and step-wise corrective guidance for action selection. Across ALFWorld, WebShop, and ScienceWorld, memory-augmented agents improve downstream success over an SFT-trained world-model agent, with up to a 65.4% relative gain. Sensitivity analyses further show that retrieved memory improves task success and efficiency under different memory and action-budget settings.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.