검색을 넘어: 다중 모드 에이전트를 위한 분석적 메모리

Beyond Retrieval: Analytic Memory for Multimodal Agents

장기적인 다중 모드 메모리는 관련 정보를 검색하는 것뿐만 아니라, 상호 작용 과정을 통해 축적된 관찰 데이터를 활용하여 계산을 수행할 수 있어야 합니다. 기존 시스템은 주로 extit{검색 메모리}에 중점을 두며, 상호 작용 기록을 요약 및 인덱스를 통해 구성하여, 고수준 추상화부터 기본 레코드까지 다양한 수준에서 쿼리에 관련된 정보를 반환합니다. 본 논문에서는 extit{분석적 메모리}를 보완적인 추상화 개념으로 제시하며, 이는 반복되는 다중 모드 관찰 데이터를 쿼리가 가능하도록 구성된 구조로 조직하여 필터링, 집계, 순위 결정 및 시간 비교를 지원합니다. 우리는 검색과 분석 메모리를 동시에 지원하는 프레임워크인 AdaMM을 제안합니다. AdaMM은 애플리케이션 정의 스키마에 의존하지 않고, 대화, 이미지 및 컨텍스트 메타데이터에서 출처와 연결된 속성-값 쌍 관찰 데이터를 추출하고, 반복되는 필드 구조를 발견하여 분석적 접근을 위해 이를 구체화합니다. 추론 단계에서, 메모리를 고려한 계획기는 쿼리를 검색 및 분석 작업으로 분해하고 각 작업을 적절한 도구로 라우팅합니다. MemEye와 MemGallery라는 두 가지 장기 다중 모드 메모리 벤치마크에 대한 실험 결과, AdaMM은 각각 최대 11.3%와 7.3%의 성능 향상을 보였습니다.

Long-term multimodal memory must support not only retrieving relevant information but also computing over observations accumulated across interactions. Existing systems largely emphasize \emph{retrieval memory}, organizing interaction histories through summaries and indexes to return query-relevant information at multiple granularities, from high-level abstractions to underlying records. In this paper, we formulate \emph{analytic memory} as a complementary abstraction that organizes recurring multimodal observations into queryable structures supporting filtering, aggregation, ranking, and temporal comparison. We present AdaMM, a framework that jointly supports retrieval and analytic memory. Rather than relying on application-defined schemas, AdaMM extracts provenance-linked attribute-value observations from dialogue, images, and contextual metadata, discovers recurring field structures, and materializes them for analytical access. At inference time, a memory-aware planner decomposes queries into retrieval and analytic operations and routes each operation to the appropriate tools. Experiments on two long-term multimodal memory benchmarks, MemEye and MemGallery, show that AdaMM improves performance by up to 11.3\% and 7.3\%, respectively.