LycheeMemory V2: 의미적 세그먼트 레벨 통합을 통한 LLM 에이전트를 위한 효율적인 장기 기억

LycheeMemory V2: Efficient Long-Term Memory for LLM Agents via Semantic Segment-Level Consolidation

장기적인 관점을 가진 LLM 에이전트는 미래 작업을 지원하기 위해 과거 상호 작용에서 얻은 정보를 보존해야 합니다. 기존의 메모리 시스템은 일반적으로 '즉시 통합(eager consolidation)' 방식을 사용하며, 매 상호 작용마다 LLM을 호출하여 기억 내용을 추출, 요약 또는 업데이트합니다. 이러한 설계는 대화가 길어질수록 메모리 구축 비용을 증가시킵니다. 거친 요약이 구축 비용을 줄일 수 있지만, 미세한 맥락적 증거를 잃을 위험이 있으며, 더 큰 검색 컨텍스트나 다단계 LLM 추론은 오버헤드를 쿼리 시간에 옮겨갑니다. 본 논문에서는 각 상호 작용을 개별적으로 통합하는 대신, 여러 상호 작용을 세그먼트로 묶어 컨텍스트에 독립적인 타입화된 메모리 레코드로 인코딩하는 효율적인 장기 기억 프레임워크인 LycheeMemory V2를 제안합니다. 세그먼트 단위의 일괄 처리는 LLM 인코딩 빈도를 줄이는 반면, 의미론적 경계 감지는 고정된 윈도우 기반의 일괄 처리보다 일관성 있는 이벤트 레벨 및 시간 정보를 유지하는 데 도움이 됩니다. 생성된 기록은 가벼운 구조화된 색인을 사용하여 계획된 증거 검색을 용이하게 합니다. GPT-4.1-Mini를 사용한 실험 결과, LycheeMemory는 최첨단 성능을 달성했으며, LoCoMo에서 89.22%, LongMemEval-S에서 92.20%의 정확도를 보였습니다. A-Mem과 비교했을 때, LycheeMemory는 LoCoMo에서 86.0%, LongMemEval-S에서 75.9% 더 적은 토큰을 사용하여 메모리를 구축하며, 쿼리 시간 토큰 사용량은 증가시키지 않습니다. 더욱 일반적으로, 장기 에이전트의 기억에 대한 정확성-비용 균형은 어떤 정보가 유지되는지에만 의존하는 것이 아니라, 정보가 통합되는 세분성에 따라 달라집니다.

Long-horizon LLM agents must preserve information from past interactions to support future tasks. Existing memory systems typically rely on eager consolidation, invoking LLMs after each interaction to extract, summarize, or update memories. This design makes memory construction increasingly costly as conversations grow. Coarse summarization can reduce construction cost but risks discarding fine-grained contextual evidence, whereas larger retrieval contexts or multi-hop LLM reasoning shift the overhead to query time. We present LycheeMemory V2, an efficient long-term memory framework that replaces turn-level consolidation with semantic segment-level consolidation. Instead of consolidating every interaction, LycheeMemory batches multiple exchanges into segments and encodes each finalized segment into context-independent typed memory records. Segment-level batching lowers LLM encoding frequency, while semantic boundary detection helps preserve coherent event-level and temporal evidence compared with fixed-window batching. The resulting records are organized with lightweight structured indexes for query-planned evidence retrieval. Experiments using GPT-4.1-Mini show that LycheeMemory achieves state-of-the-art performance, reaching 89.22% on LoCoMo and 92.20% on LongMemEval-S. Compared with A-Mem, it reduces construction tokens by 86.0% on LoCoMo and 75.9% on LongMemEval-S without increasing query-time token usage. More broadly, our results suggest that the accuracy--cost trade-off of long-term agent memory depends not only on what information is retained, but also on the granularity at which it is consolidated.