메모리 캐싱: 확장 가능한 메모리를 갖는 순환 신경망

Memory Caching: RNNs with Growing Memory

트랜스포머는 최근 시퀀스 모델링 분야의 주요 발전의 기반 기술로 자리 잡았습니다. 이는 주로 컨텍스트 길이와 함께 확장되는 메모리 용량 덕분입니다. 검색 작업에는 적합할 수 있지만, 트랜스포머는 2차 복잡도를 가지므로, 최근 연구에서는 이를 해결할 수 있는 부분 2차 복잡도를 가지는 순환 신경망 대안을 모색하고 있습니다. 다양한 분야에서 유망한 초기 결과를 보여주었음에도 불구하고, 이러한 순환 신경망 아키텍처는 고정된 크기의 메모리로 인해 회수 작업에서 트랜스포머보다 성능이 떨어지는 경우가 많습니다. 본 논문에서는 순환 신경망 모델의 메모리 상태(즉, 은닉 상태)의 체크포인트를 캐싱하는 간단하면서도 효과적인 기술인 메모리 캐싱(Memory Caching, MC)을 소개합니다. 메모리 캐싱은 RNN의 효과적인 메모리 용량을 시퀀스 길이에 따라 확장할 수 있도록 하여, RNN의 고정된 메모리(즉, O(L) 복잡도)와 트랜스포머의 확장 가능한 메모리(즉, O(L^2) 복잡도) 사이의 유연한 균형을 제공합니다. 게이티드 집계 및 희소 선택 메커니즘을 포함한 MC의 네 가지 변형을 제안하고, 선형 및 심층 메모리 모듈에 대한 이들의 영향을 논의합니다. 언어 모델링 및 장기 컨텍스트 이해 작업에 대한 실험 결과는 MC가 순환 신경망 모델의 성능을 향상시킨다는 것을 보여주며, 이는 MC의 효과성을 뒷받침합니다. 컨텍스트 내 회수 작업의 결과는 트랜스포머가 최고의 정확도를 달성하지만, 우리의 MC 변형은 경쟁력 있는 성능을 보여주며, 트랜스포머와의 격차를 줄이고, 최첨단 순환 신경망 모델보다 더 나은 성능을 발휘한다는 것을 나타냅니다.

Transformers have been established as the de-facto backbones for most recent advances in sequence modeling, mainly due to their growing memory capacity that scales with the context length. While plausible for retrieval tasks, it causes quadratic complexity and so has motivated recent studies to explore viable subquadratic recurrent alternatives. Despite showing promising preliminary results in diverse domains, such recurrent architectures underperform Transformers in recall-intensive tasks, often attributed to their fixed-size memory. In this paper, we introduce Memory Caching (MC), a simple yet effective technique that enhances recurrent models by caching checkpoints of their memory states (a.k.a. hidden states). Memory Caching allows the effective memory capacity of RNNs to grow with sequence length, offering a flexible trade-off that interpolates between the fixed memory (i.e., $O(L)$ complexity) of RNNs and the growing memory (i.e., $O(L^2)$ complexity) of Transformers. We propose four variants of MC, including gated aggregation and sparse selective mechanisms, and discuss their implications on both linear and deep memory modules. Our experimental results on language modeling, and long-context understanding tasks show that MC enhances the performance of recurrent models, supporting its effectiveness. The results of in-context recall tasks indicate that while Transformers achieve the best accuracy, our MC variants show competitive performance, close the gap with Transformers, and performs better than state-of-the-art recurrent models.