ScrapMem: 광학적 망각을 활용한 온디바이스 맞춤형 에이전트 메모리 생체 모방 프레임워크

ScrapMem: A Bio-inspired Framework for On-device Personalized Agent Memory via Optical Forgetting

LLM 에이전트의 장기적인 맞춤형 메모리는 높은 저장 비용과 다중 모드 복잡성으로 인해 리소스가 제한된 엣지 장치에서 구현하기 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 다중 모드 데이터를 "스크랩북 페이지"에 통합하는 프레임워크인 ScrapMem을 제안합니다. ScrapMem은 Optical Forgetting이라는 광학적 압축 메커니즘을 도입하여, 저장 비용을 줄이면서 중요하지 않은 세부 정보를 제거하기 위해 오래된 메모리의 해상도를 점진적으로 낮춥니다. 의미적 일관성을 유지하기 위해, 우리는 주요 이벤트들을 인과적-시간적 구조로 구성하는 에피소딕 메모리 그래프(EM-Graph)를 구축합니다. 다중 모드 ATM-Bench에 대한 광범위한 실험 결과, ScrapMem은 다음과 같은 세 가지 주요 이점을 제공하는 것으로 나타났습니다. (1) 뛰어난 성능: 51.0%의 Joint@10 점수를 달성하여 새로운 최고 성능을 기록했습니다. (2) 높은 저장 효율성: 광학적 망각을 통해 최대 93%까지 메모리 사용량을 줄였습니다. (3) 향상된 회상 능력: 구조화된 집계를 통해 Recall@10을 70.3%까지 증가시켰습니다. ScrapMem은 다중 모드 LLM 에이전트의 온디바이스 장기 메모리를 위한 효과적이고 저장 효율적인 솔루션을 제공합니다.

Long-term personalized memory for LLM agents is challenging on resource-limited edge devices due to high storage costs and multimodal complexity. To address this, we propose ScrapMem, a framework that integrates multimodal data into "Scrapbook Page." ScrapMem introduces Optical Forgetting, an optical compression mechanism that progressively reduces the resolution of older memories, lowering storage cost while suppressing low-value details. To maintain semantic consistency, we construct an Episodic Memory Graph (EM-Graph) that organizes key events into a causal-temporal structure. Extensive experiments on the multimodal ATM-Bench showcase that ScrapMem provides three main benefits: (1) strong performance, achieving a new state-of-the-art with a 51.0% Joint@10 score; (2) high storage efficiency, reducing memory usage by up to 93% via optical forgetting; and (3) improved recall, increasing Recall@10 to 70.3% through structured aggregation. ScrapMem offers an effective and storage-efficient solution for on-device long-term memory in multimodal LLM agents.