스트리밍 비디오 모델이 무엇을 기억해야 할까?

What Should a Streaming Video Model Remember?

스트리밍 비디오 이해 모델은 진행 중인 스트림의 모든 순간에 대해 질문에 답해야 하며, 이때는 지금까지 관찰한 정보만을 사용하고 제한된 메모리와 연산 자원 내에서 작동해야 합니다. 기존 방법들은 장기적인 정보를 보존하기 위해 메모리 뱅크, 검색 모듈 또는 시각적 토큰 압축을 추가하는 방식으로 이러한 문제를 해결합니다. 그러나 최근의 강력한 짧은 구간 기반 모델(recent-window baselines)은 무분별한 과거 정보 활용이 현재 장면 인식 능력을 저하시킬 수 있음을 보여줍니다. 따라서 핵심 과제는 메모리를 사용하는지 여부가 아니라, 어떻게 선택적으로 메모리를 할당하는지가 됩니다. 우리는 이 문제를 '예산 기반 온라인 잠재 증거 할당(budgeted online latent evidence allocation)'으로 정의하고, 현재 관찰 정보를 동결된 시각 언어 모델(VLM)에 직접 노출시키면서, 역사적 정보는 작고 질문에 따라 달라지는 양의 잠재 증거를 통해만 제공하는 선택적 잠재 메모리 프레임워크인 'SelectStream'을 제안합니다. 세 가지 조정 메커니즘이 쓰기 시점, 보존할 내용, 그리고 고정 용량 잠재 메모리 그래프에서의 검색 방법을 결정합니다. 검색된 증거는 보정되어 잠재 토큰으로 주입되어 답변을 생성하며, 프레임을 다시 재생하거나 스트림 길이에 따라 컨텍스트를 확장하지 않습니다. 실험 결과, SelectStream은 강력한 온라인 스트리밍 성능을 달성하고 일반적인 비디오 이해 능력을 유지하며, StreamingBench에서 82.67%, OVO-Bench에서 67.03%, 오프라인 비디오 벤치마크에서 평균 정확도 74.4%를 기록했습니다. 이는 강력한 짧은 구간 기반 모델 및 기존 스트리밍 메모리 방법보다 우수한 성능입니다.

Streaming video understanding models must answer queries at any moment during an ongoing stream, using only what they have observed so far and under fixed memory and computation budgets. Existing methods address this by adding memory banks, retrieval modules, or visual token compression to preserve long-range history. However, strong recent-window baselines show that indiscriminate history injection can dilute current-scene perception, suggesting that the key challenge is not whether to use memory, but how to allocate it selectively. We formulate this as budgeted online latent evidence allocation and propose \textbf{SelectStream}, a selective latent-memory framework that keeps the current observation directly visible to a frozen VLM while exposing historical information only through a compact, query-conditioned evidence budget. Three coordinated mechanisms govern when to write, what to preserve, and how to retrieve: surprise-driven adaptive windowing, priority-preserving consolidation, and query-conditioned graph reasoning over a fixed-capacity latent memory graph. Retrieved evidence is calibrated and injected as latent tokens for answer generation, without replaying frames or growing the context with stream length. Experimental results show that SelectStream achieves strong online streaming performance and preserves general video understanding, reaching 82.67\% on StreamingBench, 67.03\% on OVO-Bench, and 74.4\% average accuracy on offline video benchmarks, while outperforming strong recent-window baselines and prior streaming memory methods.