FILT3R: 잠재 상태 적응 칼만 필터 - 실시간 3D 재구성

FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

실시간 3D 재구성은 지속적인 잠재 상태를 유지하며, 이는 들어오는 프레임으로부터 온라인으로 업데이트되어 메모리 사용량을 일정하게 유지합니다. 주요 문제점은 상태 업데이트 규칙인데, 과도한 덮어쓰기는 유용한 과거 정보를 잊게 만들고, 보수적인 업데이트는 새로운 정보를 제대로 반영하지 못하며, 이러한 모든 행동은 학습 범위를 벗어난 상황에서 불안정해집니다. 이러한 문제를 해결하기 위해, 우리는 FILT3R이라는 학습이 필요 없는 잠재 상태 필터링 레이어를 제안합니다. FILT3R은 순환 상태 업데이트를 토큰 공간에서의 확률적 상태 추정으로 간주합니다. FILT3R은 각 토큰별 분산을 유지하며, 칼만 필터 스타일의 이득을 계산하여 메모리 유지와 새로운 관측값 간의 균형을 적응적으로 조절합니다. 프레세스 노이즈(프레임 간 잠재 상태의 변화 정도를 나타냄)는 후보 토큰의 EMA(지수 이동 평균) 정규화된 시간적 드리프트를 기반으로 온라인으로 추정됩니다. 광범위한 실험을 통해 FILT3R이 해석 가능하고 플러그 앤 플레이 방식으로 작동하는 업데이트 규칙을 제공하며, 일반적인 덮어쓰기 및 게이팅 정책을 특수한 경우로 일반화할 수 있음을 보여줍니다. 특히, 안정적인 환경에서는 불확실성이 축적됨에 따라 이득이 감소하고, 실제 장면 변화가 증가하면 프레세스 불확실성이 증가하여 이득이 증가하며, 이를 통해 기존 방법보다 깊이, 자세 및 3D 재구성에 대한 장기적인 안정성을 향상시킬 수 있음을 확인했습니다. 코드 배포 위치: https://github.com/jinotter3/FILT3R.

Streaming 3D reconstruction maintains a persistent latent state that is updated online from incoming frames, enabling constant-memory inference. A key failure mode is the state update rule: aggressive overwrites forget useful history, while conservative updates fail to track new evidence, and both behaviors become unstable beyond the training horizon. To address this challenge, we propose FILT3R, a training-free latent filtering layer that casts recurrent state updates as stochastic state estimation in token space. FILT3R maintains a per-token variance and computes a Kalman-style gain that adaptively balances memory retention against new observations. Process noise -- governing how much the latent state is expected to change between frames -- is estimated online from EMA-normalized temporal drift of candidate tokens. Using extensive experiments, we demonstrate that FILT3R yields an interpretable, plug-in update rule that generalizes common overwrite and gating policies as special cases. Specifically, we show that gains shrink in stable regimes as uncertainty contracts with accumulated evidence, and rise when genuine scene change increases process uncertainty, improving long-horizon stability for depth, pose, and 3D reconstruction, compared to the existing methods. Code will be released at https://github.com/jinotter3/FILT3R.