다중 모드 증거당 하나의 토큰: 자원 제약적 질의 응답을 위한 잠재 기억

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

외부 메모리는 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM) 기반 질의 응답(QA) 시스템을 관련 있는 다중 모드 증거와 연결하는 데 효과적입니다. 그러나 기존의 메모리 방식은 각 메모리 항목을 원시 텍스트 및 이미지 형태로 표현하므로, 검색 기반 시스템은 검색된 텍스트 또는 이미지를 생성 LLM/VLM에 전달해야 합니다. 이는 높은 토큰 소비량과 저장 공간 부담을 초래하여 자원 제약적인 환경에서는 적용하기 어렵습니다. 우리는 각 원시 텍스트 또는 이미지 증거 항목을 작은 압축 LLM/VLM이 생성하는 단일의 고차원 잠재 토큰으로 대체하는 잠재 기억(Latent Memory)이라는 새로운 메모리 패러다임을 제안합니다. 잠재 기억은 원시 증거를 검색하는 대신, 통일된 잠재 표현 공간에서 작동합니다. 쿼리는 이 공간에 임베딩되어 관련 있는 잠재 토큰을 검색하고, 검색된 잠재 토큰은 미리 학습된 LLM 또는 VLM에 직접 입력되어 답변을 생성합니다. 각 잠재 토큰이 재구성, 검색 및 생성을 위해 동시에 유용한 정보를 제공하도록, 우리는 압축 모델을 재구성, 대비 학습 및 지식 증류 목표를 사용하여 통합적인 방식으로 학습시킵니다. 잠재 기억은 7개의 텍스트 기반 QA 벤치마크(예: HotpotQA)와 다중 모드 QA 벤치마크에서 평가되었으며, 고급 RAG (Retrieval-Augmented Generation) 기준과 비교하여 경쟁력 있는 QA 성능을 달성하면서 생성에 필요한 토큰 수를 3배에서 10배까지 줄였습니다. 또한 WebQA 데이터셋에서 가장 뛰어난 이미지 기반 QA 성능을 보입니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/zz1358m/Latent-Memory-Master.

External memory effectively grounds large language models (LLMs) and vision-language models (VLMs)-based question answering (QA) in relevant multimodal evidence. However, existing memory paradigms represent each memory item in raw text and image forms, so retrieval-based systems must pass the retrieved text or images to the generation LLMs/VLMs, resulting in high token consumption and storage pressure, making it unaffordable for resource-constrained applications. We propose Latent Memory, a latent-space memory paradigm that replaces each raw text or image evidence item with a single high-dimensional latent token produced by a small compressor LLM/VLM. Rather than retrieving raw evidence for generation, Latent Memory operates in a unified latent representation space: the query is embedded into this space to retrieve relevant latent tokens, and the retrieved latent tokens are directly prompted to a pretrained LLM or VLM for answer generation. To make each latent token simultaneously informative for reconstruction, retrieval, and generation, we train the compressor with reconstruction, contrastive, and distillation objectives in a unified end-to-end manner. Latent Memory is evaluated on seven text-only QA benchmarks (e.g., HotpotQA) and multimodal QA benchmarks, where it achieves competitive QA performance compared to advanced RAG baselines while consuming 3x to 10x fewer generator tokens. It can also deliver the strongest image-grounded QA performance on WebQA. Code is available at https://github.com/zz1358m/Latent-Memory-Master.