LightMem-Ego: 일상생활을 위한 인공지능 기억 시스템

LightMem-Ego: Your AI Memory for Everyday Life

모바일 및 웨어러블 기기에서 개인용 AI 어시스턴트는 시각 및 오디오 스트림을 통해 사용자의 일상을 지속적으로 인식합니다. 그러나 과거 경험에 대한 질문에 답변하려면, 장기간의 경험을 지속적으로 축적, 정리하고 검색할 수 있는 경량화된 다중 모드 기억 시스템이 필요하지만, 이는 여전히 어려운 과제입니다. 이러한 문제점을 해결하기 위해, 우리는 일상생활 지원을 위한 경량 스트리밍 다중 모드 기억 시스템인 LightMem-Ego를 제안합니다. 이 시스템은 사용자의 시각 및 오디오 스트림을 지속적으로 캡처하고, 이를 공유 타임라인에 맞춰 정렬하며, 현재, 단기, 장기 기억으로 구성된 계층적 메모리에 저장합니다. LightMem-Ego는 사용자 질문이 주어지면, 동적으로 적절한 기억 레벨로 검색을 수행하고, 다중 모드 증거를 기반으로 답변을 생성합니다. 이 시스템은 스마트폰 및 AI 글래스에 배포될 수 있으며, 객체 찾기, 대화 회상, 일상 요약, 습관 발견 및 개인 맞춤형 지원 기능을 제공합니다. 관련 코드는 https://github.com/zjunlp/LightMem-Ego 에서 확인할 수 있습니다.

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.