V-Mem: 모달리티 기반 검색을 통한 장기 다중 모드 에이전트 기억 시스템

V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

사용자와 LLM 에이전트 간의 상호작용은 점점 더 다중 모드를 갖게 되는데, 대화는 텍스트와 이미지를 혼합하며, 후속 질문은 이 둘 중 하나를 대상으로 할 수 있습니다. 그러나 대부분의 에이전트 기억 시스템은 텍스트 중심으로 설계되어 있으며, 다중 모드 대화를 지원하는 소수의 시스템조차도 시각 관련 질문에는 실패합니다. 우리는 이러한 실패가 그들이 사용하는 유사성 검색 방식에 내재된 가정 때문이라고 분석했습니다. 즉, 인덱스 공간에서 쿼리는 해당 질문에 대한 관련 증거와 가깝게 위치해야 한다는 것입니다. 다중 모드 환경에서는 두 가지 유형의 문제가 발생합니다. 첫째, 모달리티 간 격차로 인해 쿼리는 자체 모달리티의 콘텐츠와 더 가까이 위치하며, 학습된 통합 임베딩 공간에서도 다른 모달리티의 증거보다 가깝습니다. 둘째, 유사성-관련성 간 격차로 인해 쿼리와 가장 유사한 콘텐츠가 항상 해당 질문에 대한 답을 제공하는 증거는 아닙니다. 특히 텍스트와 이미지를 모두 포함하는 쿼리의 경우, 증거가 어느 한 부분과도 일치하지 않을 수 있습니다. 우리는 이러한 문제를 해결하기 위해 쿼리와 대상 증거의 모달리티를 기반으로 검색을 라우팅하는 다중 모드 에이전트 기억 시스템인 V-Mem을 제안합니다. V-Mem은 모달리티 간 격차를 극복하기 위해 대화를 여러 라운드로 나누고, 동일한 라운드 내에서 대상 모달리티의 콘텐츠를 반환하며, 서로 다른 모달리티 간 비교는 수행하지 않습니다. 또한 유사성-관련성 간 격차를 해소하기 위해 LLM이 생성한 앵커를 사용하여 검색합니다. 이 앵커는 쿼리 자체보다 관련 증거와 더 가깝게 위치하도록 설계되었습니다. 예를 들어, 이미지에 대한 질문을 하는 텍스트 기반 쿼리의 경우, 가상의 설명을 사용하고, 텍스트와 이미지를 모두 포함하는 쿼리의 경우, 해당 텍스트와 관련된 키워드를 추출하여 검색 앵커를 구성합니다. Mem-Gallery 데이터셋에서 V-Mem은 LLM 평가 기준에 따라 0.82의 점수를 얻어 두 번째로 높은 모델보다 0.26점 높았습니다. 특히 이미지 포함 질문에서 가장 큰 격차(0.87 vs. 0.47)를 보였습니다. LoCoMo 데이터셋에서는 V-Mem이 0.69점을 기록하여 0.58점을 얻은 두 번째 모델보다 우수했습니다.

Interaction between users and LLM agents is increasingly multimodal: conversations interleave text with images, and a later question may target either. Yet most agent memories are designed around text, and even the few that support multimodal conversations still fail on vision-related questions. We trace this failure to an assumption behind the similarity search they rely on: in the index space, a query lies close to the relevant evidence that answers it. In multimodal settings, two gaps break it. By the modality gap, a query lies closer to memory content of its own modality than to evidence in another, even in a trained joint embedding space. By the similarity-relevance gap, the content most similar to a query is often not the evidence that answers it, most acutely when a query carries both text and image and its evidence resembles neither part alone. We present V-Mem, a multimodal agentic memory system that routes retrieval by the modality of the query and that of the target evidence, both recognized from the query alone. To cross the modality gap, V-Mem organizes the conversation into rounds and returns the target-modality content from the same round as the match, without comparing across modalities. To close the similarity-relevance gap, it searches with an LLM-generated anchor that sits closer to the relevant evidence than the query does: a hypothetical caption for a text-only query seeking an image, and an enriched search anchor, the query text plus relevant keywords extracted from the query image, when the evidence is reachable only by combining the two. On Mem-Gallery, V-Mem reaches an LLM-judge score of 0.82 versus 0.56 for the second best, with the largest margin on questions carrying an image (0.87, no baseline above 0.47); on LoCoMo it scores 0.69 versus 0.58.