StratMem-Bench: 사실 정보 회수를 넘어, 가상 캐릭터 대화에서의 전략적 메모리 사용 평가

StratMem-Bench: Evaluating Strategic Memory Use in Virtual Character Conversation Beyond Factual Recall

가상 캐릭터의 현실적인 인간과 같은 대화를 구현하기 위해서는 단순한 과거 사건의 암기 및 회상뿐만 아니라, 사실 정보의 필요 충족과 사회적 상호작용을 위해 메모리를 전략적으로 활용하는 것이 필요합니다. 현재의 메모리 활용 관련 벤치마크(예: 메모리 기반 생성, 장기 대화 등)는 이러한 미묘한 차이를 간과하고, 메모리를 사실 정보의 정적인 저장소로만 취급합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 캐릭터 중심 대화에서 전략적 메모리 사용을 평가하기 위한 새로운 벤치마크인 StratMem-Bench를 설계했습니다. 이 데이터셋은 가상 캐릭터가 필수, 지원, 그리고 관련 없는 메모리를 포함하는 다양한 메모리 풀을 탐색해야 하는 657개의 인스턴스로 구성되어 있습니다. 또한, 엄격한 메모리 준수, 메모리 통합 품질, 사전 풍부화 점수, 조건부 관련성 비율 등 다양한 평가 지표를 포함하는 프레임워크를 제안하여 가상 캐릭터의 전략적 메모리 사용 능력을 평가합니다. 최첨단 대규모 언어 모델을 가상 캐릭터로 활용하여 StratMem-Bench에서 수행한 실험 결과, 모든 모델은 필수 메모리와 관련 없는 메모리를 구별하는 데는 능숙하지만, 지원 메모리가 의사 결정 과정에 도입되면 어려움을 겪는 것으로 나타났습니다.

Achieving realistic human-like conversation for virtual characters requires not only a simple memorization and recall of past events, but also the strategic utilization of memory to meet factual needs and social engagement. Current memory utilization relevant (e.g., memory-augmented generation, long-term dialogue, and etc.) benchmarks overlook this nuance, treating memory primarily as a static repository of facts rather than a dynamic resource to be strategically deployed in dialogues. To address this gap, we design StratMem-Bench, a new benchmark to evaluate strategic memory use in character-centric dialogues. This dataset comprises 657 instances where virtual characters must navigate heterogeneous memory pools containing required, supportive, and irrelevant memories. We also propose a framework with different evaluation metrics including Strict Memory Compliance, Memory Integration Quality, Proactive Enrichment Score and Conditional Irrelevance Rate, to evaluate strategic memory use capabilities of virtual characters. Experiments on StratMem-Bench which leverage the state-of-the-art large language models as virtual characters show that all models perform well at distinguishing between required and irrelevant memories, but struggle once supportive memories are introduced into the decision process.