Raven: 희소 메모리 라우팅을 통한 고-호(high-recall) 시퀀스 모델링

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

선형 시간 시퀀스 모델에서 장기적인 정보 기억은 메모리에 데이터를 어떻게 저장하는지에 대한 상충 관계를 드러냅니다. 상태 기반 선형 모델, 예를 들어 상태 공간 모델 (SSM) 및 선형 트랜스포머는 모든 상태를 업데이트하며, 이는 간섭을 유발하고 특정 과거 토큰을 복구하기 어렵게 만듭니다. 슬라이딩 윈도우 어텐션 (SWA)은 반대되는 동작을 보입니다. SWA는 명시적인 토큰 표현을 저장하여 희소하게 데이터를 저장하지만, 고정된 윈도우 내에서만 작동하므로 관련 토큰이 제거되면 기억 성능이 저하됩니다. 이러한 모델들 간의 균형을 맞추기 위해, 우리는 Raven이라는 선형 시간 시퀀스 모델을 소개합니다. Raven은 고정된 메모리 슬롯 집합을 유지하며, 각 단계에서 학습된 입력 의존적인 라우팅을 통해 선택된 부분집합만 감쇠시키고 업데이트합니다. 이를 통해 Raven은 SWA의 위치 기반 덮어쓰기 및 강제 제거 문제를 완화하고, SSM의 밀집 상태 업데이트로 인한 간섭을 줄여 장거리 정보를 훨씬 더 효과적으로 유지할 수 있습니다. 다양한 고-호(high-recall) 벤치마크에서 Raven은 기존 선형 시간 모델과 경쟁하거나 능가하는 성능을 보이며, SWA 및 SSM이 성능 저하를 보이는 상황에서도 뛰어난 장기 컨텍스트 기억 성능을 제공합니다. 또한, 학습 데이터 길이의 최대 16배에 이르는 긴 컨텍스트 길이로도 효과적이며, 하이브리드 아키텍처에서도 유사한 성능 향상을 보입니다.

Long-context recall in linear-time sequence models highlights a tradeoff in how they write to memory. State-based linear models, such as state-space models (SSMs) and linear Transformers, write densely, updating the entire state for each newly arrived token, which leads to interference and makes specific past tokens hard to recover. Sliding-window attention (SWA) exhibits the opposite behavior: it writes sparsely by storing explicit token representations, but only within a fixed window, so recall drops once the relevant token is evicted. Interpolating between these models, we introduce Raven, a linear-time sequence model that maintains a fixed set of memory slots and, at each step, decays and updates only a selected subset via learned, input-dependent routing. This lets Raven mitigate SWA's position-based overwriting and hard eviction while reducing interference from dense state updates in SSMs, thereby preserving long-range content much more effectively. Across recall-intensive benchmarks, Raven is competitive with or outperforms prior linear-time baselines, achieving strong long-context recall where both SWA and SSMs sharply degrade. It remains effective when extrapolating to context lengths as large as 16x its training length, with similar gains in hybrid architectures.