CloneMem: AI 클론을 위한 장기 기억 벤치마킹

CloneMem: Benchmarking Long-Term Memory for AI Clones

AI 클론은 개인의 사고와 행동을 모방하여 장기적이고 개인화된 상호작용을 가능하게 하는 것을 목표로 하며, 이는 시간이 지남에 따라 경험, 감정, 의견을 모델링해야 하는 기억 시스템에 엄격한 요구 사항을 부과합니다. 기존의 기억 벤치마크들은 주로 사용자-에이전트 간의 대화 기록에 의존하는데, 이는 시간적으로 파편화되어 있어 연속적인 삶의 궤적을 포착하기에는 불충분합니다. 우리는 1년에서 3년에 걸친 일기, 소셜 미디어 게시물, 이메일 등 비대화형 디지털 흔적에 기반하여 AI 클론 시나리오에서의 장기 기억을 평가하기 위한 벤치마크인 CloneMem을 소개합니다. CloneMem은 통시적 일관성을 보장하기 위해 계층적 데이터 구축 프레임워크를 채택하고, 변화하는 개인의 상태를 추적하는 에이전트의 능력을 평가하는 과제들을 정의합니다. 실험 결과, 현재의 기억 메커니즘은 이러한 환경에서 어려움을 겪는 것으로 나타났으며, 이는 삶에 기반한 개인화된 AI를 위해 해결해야 할 과제들을 시사합니다. 코드와 데이터셋은 https://github.com/AvatarMemory/CloneMemBench 에서 확인할 수 있습니다.

AI Clones aim to simulate an individual's thoughts and behaviors to enable long-term, personalized interaction, placing stringent demands on memory systems to model experiences, emotions, and opinions over time. Existing memory benchmarks primarily rely on user-agent conversational histories, which are temporally fragmented and insufficient for capturing continuous life trajectories. We introduce CloneMem, a benchmark for evaluating longterm memory in AI Clone scenarios grounded in non-conversational digital traces, including diaries, social media posts, and emails, spanning one to three years. CloneMem adopts a hierarchical data construction framework to ensure longitudinal coherence and defines tasks that assess an agent's ability to track evolving personal states. Experiments show that current memory mechanisms struggle in this setting, highlighting open challenges for life-grounded personalized AI. Code and dataset are available at https://github.com/AvatarMemory/CloneMemBench