경청하며 생각하기: 장기적인 순차적 모델링을 위한 빠른-느린 반복 구조

Thinking While Listening: Fast-Slow Recurrence for Long-Horizon Sequential Modeling

본 연구에서는 최근 개발된 잠재적 순환 모델링 기법을 순차적인 입력 데이터 스트림에 적용한다. 빠른 속도로 반복적으로 업데이트되는 잠재 변수와 스스로 조직화되는 능력을, 느린 속도로 업데이트되는 관측값과 교차함으로써, 입력 데이터와 함께 진화하는 안정적인 내부 구조 학습을 가능하게 한다. 이러한 메커니즘은 모델이 장기간에 걸쳐 일관성 있고 응집적인 표현을 유지하도록 하여, 강화 학습 및 알고리즘 작업에서 LSTM, 상태 공간 모델 및 Transformer 변형과 같은 기존 순차적 모델보다 뛰어난 일반화 성능을 제공한다.

We extend the recent latent recurrent modeling to sequential input streams. By interleaving fast, recurrent latent updates with self-organizational ability between slow observation updates, our method facilitates the learning of stable internal structures that evolve alongside the input. This mechanism allows the model to maintain coherent and clustered representations over long horizons, improving out-of-distribution generalization in reinforcement learning and algorithmic tasks compared to sequential baselines such as LSTM, state space models, and Transformer variants.