MARCH: 콘텐츠 기반 상태 앵커를 활용한 순환 메모리 확장

MARCH: Scaling Recurrent Memory with Content-Routed State Anchors

트랜스포머 모델은 문맥 길이에 따라 증가하는 토큰 단위 메모리를 통해 강력한 장거리 정보 검색 능력을 갖추고 있습니다. 하지만 이러한 유연성은 학습 시 이차적인 계산 복잡도를 야기하며, 자기 회귀 추론 과정에서는 선형적으로 증가하는 키-값 캐시를 필요로 합니다. 순환 신경망은 전체 이력을 고정 크기의 상태로 압축하여 효율적인 디코딩을 제공하지만, 종종 초기 연관 정보가 후속 업데이트에 의해 덮어씌워지기 때문에 장기 기억이 필요한 작업에서 성능이 떨어지는 경향이 있습니다. 본 논문에서는 문맥 히스토리 전반에 걸쳐 메모리-앵커 라우팅(Memory-Anchor Routing, MARCH)을 적용하는 네트워크 아키텍처를 제안합니다. MARCH는 상태 공간 모델의 크기를 고정된 차원을 넘어 확장하면서도 긴 시퀀스에서도 계산 효율성을 유지합니다. MARCH는 주기적으로 누적된 순환 상태 체크포인트를 상태 앵커로 저장하고, 각 앵커와 콘텐츠에 따라 결정되는 작은 앵커 키를 연결합니다. 이를 통해 MARCH는 문맥 길이가 증가함에 따라 확장 가능한 메모리 뱅크를 유지하여, 과거 정보의 해상도와 메모리 비용 간의 균형을 조절할 수 있습니다. 각 토큰마다 MARCH는 모든 인과적으로 접근 가능한 상태 앵커에 대한 쿼리를 생성하고, 현재 상태를 기준으로 모든 역사적 앵커에 대한 어텐션 방식으로 결과를 계산합니다. 표준 사전 학습 후, MARCH는 다양한 선형 어텐션 변형 모델보다 상식 추론, LongBench 및 문맥 내 검색 작업에서 일관되게 더 나은 성능을 보이는 것을 확인했습니다. 이러한 결과는 콘텐츠 기반 상태 캐싱이 순환 장기 기억을 크게 강화하면서도 원래의 계산 경로를 유지한다는 것을 보여줍니다.

Transformers owe much of their strong long-context retrieval capability to a token-level memory that grows with context length. This flexibility, however, incurs a quadratic computation complexity during training and a key--value cache that grows linearly during autoregressive inference. Recurrent alternatives offer efficient decoding by compressing the entire history into a fixed-size state, but often underperform on recall-intensive tasks since earlier associations usually get overwritten by subsequent updates, and only the most recent contextual information is retained. In this paper, we introduce Memory-Anchor Routing across Context History (MARCH), a network architecture that effectively scales state-space models beyond a fixed-size dimension, while maintaining computational efficiency over long-sequences. MARCH periodically caches cumulative recurrent-state checkpoints as state anchors and associates each anchor with a compact, content-conditioned anchor key. This lets MARCH maintain a memory bank, which can grow as context length increases, providing a controllable trade-off between historical resolution and memory cost. At each token, MARCH produces an anchor query to attend all causally available state anchors, and the output is calculated as an attention-style aggregation over all historical anchors along the current state. We show that after standard pretraining, MARCH consistently outperforms multiple linear attention variants across commonsense reasoning, LongBench, and in-context retrieval. These results demonstrate that content-routed state caching substantially strengthens recurrent long-range memory while preserving its native computation path.