재활용 평가: 손실된 기억은 아무것도 없는 것보다 나쁠 수 있다

Reclaim Evaluation: A Lossy Memory Is Worse Than an Empty One

언어 모델의 기억이 아예 기억이 없는 것보다 더 심각한 문제를 일으킬 수 있습니다. 모델에게 잘못된 결론을 저장했지만 그 과정에서 관련된 정보를 잃어버린 '기억'을 제공하면, 모델은 오래된 정보를 확신에 찬 답변으로 내놓습니다. 반면, 동일한 모델에게 아무런 기억도 주지 않으면, 모델은 답변을 거부합니다. 우리는 7개의 모델을 대상으로 실험한 결과, 이러한 현상이 한 번도 역전되지 않는 것을 확인했습니다. 이는 '깨어질 수 있는 기억(brittle memory)'이라고 부를 수 있는데, 이는 정보 자체보다는 행동 패턴에 더 큰 영향을 미칩니다. 이 '깨어질 수 있는 기억'의 방향성은 상황과 작업에 따라 달라지지만, 그 크기는 일정합니다. 우리는 이를 '재활용 평가(reclaim evaluation)'라는 방법으로 측정합니다. 먼저 잘못된 정보를 포함하는 상호작용을 고정된 비용 내에서 압축한 다음, 수정 작업을 통해 원래 정답을 복구할 수 있는지 확인합니다. 이때 심사관 없이 실제 정답과 비교하여 점수를 매깁니다. 중요한 것은 문제 해결의 근본적인 원천 정보가 유지되는지 여부이며, 모델의 능력과는 관련이 없습니다. '원천 정보 우선 정책(source-first policy)'은 다시 계산 가능한 원천 정보를 유지하고 도출된 결론은 삭제하는 방식으로 구현됩니다. 이러한 방식은 원천 정보가 작고 식별 가능할 경우, 동일한 비용으로 문제 해결 능력을 회복시킵니다. 또한, 텍스트 길이를 맞춘 제어 그룹을 통해 추가적인 텍스트가 문제가 되는지 확인할 수 있습니다. 저희가 개발한 자동 평가 시스템은 1.00의 정확도를 보이며, 실제 사용 환경에 적용했을 때 0.49에서 0.88 사이의 성능을 나타냅니다. 이러한 문제는 더욱 심각해질 수 있는데, 모델이 기억을 통해 정보를 반복적으로 처리하는 과정에서 단 하나의 잘못된 원천 정보 오류가 연쇄적으로 발생하여 이후 단계들에 영향을 미치고 수정하기 어려워집니다. 반면, '원천 정보 우선 정책'은 비용의 한계 내에서 이러한 문제를 방지합니다. 저희는 세 가지 실제 메모리 시스템과 실제 대화 데이터(MultiWOZ)를 사용하여 실험했으며, 원천 정보를 더 이상 저장할 수 없는 경우, 수정 작업은 제대로 작동하지 않거나 오류를 감지하지 못하는 경우가 발생했습니다. 이는 모델의 성능을 측정하기 위한 벤치마크라기보다는 특정 메커니즘을 연구하기 위한 제어된 실험입니다. 저희는 정확한 점수 산출, 동일한 비용으로 비교되는 제어 그룹, 그리고 오탐을 유도하도록 설계된 검증 시스템을 사용했습니다. 저희는 이러한 시스템과 관련된 모든 자료를 공개합니다.

A language model's memory can be worse than having no memory at all. Give a model a memory that kept a wrong conclusion but dropped the work behind it, and it emits that stale value as a confident answer; give the same model an empty memory and it abstains. Across seven models this direction never reverses, a clean kill condition that none breaks. We call this brittle memory: behavioral, not the near-immediate information bound beneath it; only its magnitude is disposition- and task-dependent, not its direction. We measure it with reclaim evaluation: compress a drifted interaction at a fixed budget, then test whether a correction recovers the known answer, scored against ground truth with no judge. Correctability is bottlenecked by whether the answer-determining source survives, not by capability. A one-line source-first policy (keep the recomputable source, drop the re-derivable conclusion) restores correctability at equal budget where that source is compact and identifiable; a length-matched control rules out added text as the cause. The hand-built oracle reaches 1.00; a one-prompt deployable version reclaims 0.49-0.88. The stake compounds: chained through a memory loop, a single dropped-source error corrupts a growing span of downstream steps and stays uncorrectable, while source-first holds to a bounded budget horizon. The wall and fix replicate across three deployed memory systems and on real dialogue (MultiWOZ), and past the budget where the source no longer fits, the fix fails silently unless the note records completeness. This is a controlled study of a mechanism, not a benchmark: judge-free exact scoring, matched-budget controls, and validators built to come out false. We release the harness, conditions, and validators.