미미르: 상호 작용 환경에서 자기 신체 에이전트를 위한 동적 지향성을 갖춘 신경-기호 메모리 시스템

Mimir: A Neuro-Symbolic Memory System with Dynamic Grounding for Embodied Agents in Interactive Environments

장기적인 자기 신체 작업은 에이전트가 부분적인 관찰 조건 하에서 행동하면서 동시에 장면 인식 정보와 실행 진행 상황을 유지해야 합니다. 단순한 과거 기록이나 암묵적인 정책 상태는 과거 관찰 정보를 포함할 수 있지만, 현재 활성화된 목표를 뒷받침하는 세계적 사실을 결정하기 위한 명시적인 인터페이스를 제공하지 않습니다. 본 논문에서는 세계 기억과 작업 기억을 분리하고 각 행동 전에 동적으로 지향성을 부여하는 신경-기호 메모리 시스템인 미미르(Mimir)를 소개합니다. 세계 기억은 객체의 위치, 상태 및 인지적 증거를 유지하며, 작업 기억은 목표 목록, 진행 상황, 손의 상태, 실패 정보 및 실행 제약 조건을 저장합니다. 지향성 모듈은 활성화된 목표를 회상된 세계 후보와 연결하고, 누락된 출발 위치를 채우고, 계획 및 신체 구현에 필요한 증거를 추가합니다. 다양한 백본 구조에서 테스트한 결과, 미미르는 EB-ALFRED 및 EB-Habitat 작업 모두에서 일관되게 성능 향상을 보였으며, 각각 최대 42.5%와 평균 23.0%의 성능 향상을 달성했습니다. 동일한 백본 구조를 사용한 기존 에이전트 및 메모리 시스템과 비교했을 때, 미미르는 전체적인 성공률을 평균 8.5% 향상시켰습니다. 특히, EB-Habitat의 장기 작업 데이터 세트에서 미미르는 86.0%의 높은 성공률을 달성하여 현재 상용 모델보다 훨씬 뛰어난 성능을 보였습니다. 저희 코드는 곧 공개될 예정입니다.

Long-horizon embodied task requires agents to act under partial observability while preserving both scene belief and execution progress. Flat histories or implicit policy states may contain past observations, but they do not provide an explicit interface for deciding which world facts support the currently active goal. We introduce Mimir, a neuro-symbolic memory that separates world memory from task memory and dynamically grounds them before each action. World memory maintains object locations, object states, and perceptual evidence, while task memory maintains an ordered goal agenda, progress state, hand state, failures, and execution constraints. A grounding module binds the active goal to recalled world candidates, fills missing source locations, and attaches evidence before planning and embodiment-specific execution. Across tested backbones, Mimir consistently improves on different EB-ALFRED and EB-Habitat tasks, with maximum gains of 42.5% and average gains of 23.0%, respectively. Compared with the best results among prior agent and memory systems evaluated under the same backbone, Mimir improves the overall average success rate by 8.5%. Finally, on the EB-Habitat Long-horizon subset, Mimir achieves 86.0% success rate, substantially outperforming current closed-source models. Our code will be released soon.