다층 MeMo를 위한 버전 인식 연산 및 트랜잭션 메모리 연구

Towards Version-aware Operations and Transaction Memories for Multi-layer MeMo

MeMo는 명시적인 다층 상관관계 행렬 메모리(CMM)를 갖춘 언어 모델을 제안하며, 여기서 기억, 검색 및 망각은 아키텍처적 연산으로 작용합니다. 본 논문에서는 이러한 메모리가 지식 변화 시 재학습의 필요성을 어떻게 줄일 수 있는지에 대해 탐구합니다. MeMo 메모리 연결로 표현 가능한 변경 사항의 경우, 모델 전체를 재학습하는 대신 명시적인 메모리를 편집하여 모델이 접근할 수 있는 지식을 업데이트할 수 있습니다. 우리는 'replace', 'obsolete', 'keep-history', 'rollback' 및 'trace'와 같은 고수준 연산을 MeMo에서 지원하는 기본 호출로 컴파일하는 버전 인식 연산 레이어를 제안합니다. 핵심적인 관찰은 버전 인식 연산이 일반적으로 단일 MeMo 연결이 아니라는 점입니다. 이는 일련의 기본 편집 작업, 예를 들어 특정 시퀀스-토큰 체인을 망각하고, 다른 체인을 기억하며, 과거 체인을 보존하고, 역 프로그램(inverse program)을 기록하는 정렬된 트랜잭션이라는 것입니다. 본 프레임워크는 두 가지 추가 CMM을 도입합니다. 버전 전환을 트랜잭션 핸들과 매핑하는 버전 CMM (V-CMM), 그리고 재사용 가능한 변경 내용과 역 프로그램을 저장하는 트랜잭션 CMM (T-CMM)입니다. 이 시스템은 직접적인 시퀀스 수준 편집 및 구조화된 diff 수준 입력 모두를 지원하며, 업데이트 성공 여부, 롤백 기능, 추적 가능성, 지역성 및 트랜잭션 재사용에 대한 평가 방법을 제시합니다.

MeMo proposes language models with explicit multi-layer correlation matrix memories (CMMs), where memorization, retrieval, and forgetting are architectural operations. This paper asks how such memories can reduce the need for retraining when knowledge changes. For changes expressible as MeMo memory associations, the model's accessible knowledge can be updated by editing explicit memories rather than retraining the whole model. We propose a version-aware operation layer in which high-level operations such as replace, obsolete, keep-history, rollback, and trace are compiled into MeMo-native primitive calls over sequences and tokens. The key observation is that a version-aware operation is rarely a single MeMo association. It is an ordered transaction of primitive edits, for example forgetting one sequence-token chain, memorizing another, preserving a historical chain, and recording an inverse program. The framework introduces two auxiliary CMMs: a Version CMM (V-CMM) for mapping version transitions to transaction handles, and a Transaction CMM (T-CMM) for storing reusable change contents and inverse programs. It supports both direct sequence-level edits and structured diff-level inputs, and outlines an evaluation route for update success, rollback, traceability, locality, and transaction reuse.