GROVE: 스트리밍 비디오 데이터를 시간적으로 계층화하여 성장시키고 추론하는 시스템

GROVE: Growing and Reasoning over Temporally Stratified Memory from Streaming Video Experience

웨어러블 어시스턴트는 시각적 기록에 대한 질문에 답변할 수 있어야 할 뿐만 아니라, 해당 기록이 현재 상황에서 유용할 때를 인식해야 합니다. 기존의 비디오 메모리 시스템은 주로 질문 기반의 정보 검색을 지원하는 반면, 능동적인 어시스턴트는 일반적으로 별도의 메모리와 제어 메커니즘을 사용합니다. 본 논문에서는 훈련 과정 없이도 이러한 두 가지 기능을 모두 지원하며, 연속적인 비디오 스트림으로부터 인과적으로 성장된 단일 메모리를 사용하는 GROVE라는 프레임워크를 소개합니다. GROVE는 미세한 수준의 시각적 정보를 유지하고, 이를 시간별로 기록된 순간, 일관성 있는 에피소드 및 반복되는 장기 패턴으로 점진적으로 통합합니다. 각 계층은 특정 규모에 적합한 검색 기술과 연결되어 있어, 관찰 정보 검색, 활동 재생 또는 장거리 규칙 탐색을 가능하게 합니다. 반응형 질의 응답과 능동적 지원 모두 동일한 메모리와 인터페이스를 공유하며, 차이점은 정보 검색이 사용자 쿼리에 의해 시작되는지, 아니면 현재 상황에 의해 시작되는지에 있습니다. MM-lifelong 및 EgoServe 등 다양한 벤치마크에서 GROVE는 비교 대상 방법 중 가장 우수한 성능을 보였습니다. 제어된 실험 결과, 시간적 계층 구조와 해당 접근 기술은 상호 보완적이며, 특히 여러 날에 걸쳐 정보가 필요한 경우 패턴이 가장 큰 이점을 제공하는 것으로 나타났습니다. 코드 및 관련 자료는 https://github.com/SitongGong/GROVE 에서 확인할 수 있습니다.

A wearable assistant should both answer questions about its visual history and recognize when that history is useful to the present situation. Existing video-memory systems primarily support question-conditioned recall, whereas proactive assistants typically use separate memory and control mechanisms. We introduce GROVE, a training-free framework that supports both behaviors with one memory grown causally from a continuous video stream. GROVE retains fine-grained perceptual evidence and incrementally consolidates it into time-stamped moments, coherent episodes, and recurring cross-day patterns. Each stratum is paired with a scale-native retrieval skill for locating an observation, replaying an activity, or traversing long-range regularities. Reactive QA and proactive assistance share this memory and access interface, differing in whether retrieval is initiated by a user query or the current situation. Across multiple benchmarks including the challenging MM-lifelong and EgoServe, GROVE achieves the best results among the compared methods. Controlled ablations show that the temporal strata and their access skills are complementary, with patterns providing the largest benefit when evidence spans multiple days. Code will be available at https://github.com/SitongGong/GROVE.