언어 모델도 휴식이 필요하다

Language Models Need Sleep

트랜스포머 기반의 대규모 언어 모델은 점점 더 많은 장기적인 작업에 사용되고 있지만, 이들의 어텐션 메커니즘은 문맥 길이와 함께 제대로 확장되지 않습니다. 이를 해결하기 위해, 우리는 모델이 주기적으로 최근 문맥을 지속 가능한 빠른 가중치로 변환하고 키-값 캐시를 지우는 '수면'과 유사한 통합 메커니즘을 연구합니다. 수면 동안, 모델은 축적된 문맥에 대해 $N$번의 오프라인 순환 과정을 수행하며, 학습된 로컬 규칙을 통해 상태 공간 모델(SSM) 블록 내의 빠른 가중치를 업데이트합니다. 추론 과정에서, 이 방법은 추가적인 연산을 '수면' 단계로 옮겨 예측 지연 시간을 유지합니다. 우리는 우리의 방법을 셀룰러 오토마타 및 멀티홉 그래프 검색과 같은 제어된 합성 작업뿐만 아니라, 일반 트랜스포머와 SSM-어텐션 하이브리드 모델이 실패하는 현실적인 수학 추론 작업에 적용하여 테스트했습니다. 또한, 우리 모델의 '수면' 기간 $N$을 늘리면 성능이 향상되며, 특히 더 깊은 추론이 필요한 예제에서 가장 큰 효과를 보인다는 것을 보여줍니다.

Transformer-based large language models are increasingly used for long-horizon tasks; however, their attention mechanism scales poorly with context length. To handle this, we study a sleep-like consolidation mechanism in which a model periodically converts recent context into persistent fast weights before clearing its key-value cache. During sleep, the model performs $N$ offline recurrent passes over the accumulated context and updates the fast weights in its state-space model (SSM) blocks through a learned local rule. During inference, this shifts extra computation to sleep while preserving the latency of wake-time prediction. We test our method on controlled synthetic tasks, including cellular automata and multi-hop graph retrieval, as well as a realistic math reasoning task, on which a regular transformer as well as SSM-attention hybrid models fail. We then show that increasing sleep duration $N$ for our models improves performance, with the largest gains on examples that require deeper reasoning.