HERA: 잠재 세계 모델에서의 물리적 예측을 위한 역사적 증거 라우팅 어댑터

HERA: Historical Evidence Routing Adapter for Physical Prediction in Latent World Models

예측 비디오 모델은 대규모 비디오 데이터로부터 잠재적인 시각적 동역학을 학습함으로써 유망한 세계 모델로 등장했습니다. 그러나 이러한 모델은 가려짐 상태에서 발생하는 물리적 현상에 어려움을 겪으며, 이후 예측은 현재 시야에서는 더 이상 사용 불가능한 객체 정보에 의존할 수 있습니다. 이러한 문제를 해결하기 위해서는 과거의 정보를 단순히 보관하는 것뿐만 아니라, 후속 예측에 관련될 때 접근 가능하도록 유지해야 합니다. 기존 연구는 주로 시간적 범위를 확장하거나, 일반적인 비디오 특징을 캐싱하거나, 명시적인 객체 중심 상태를 적용하여 저장된 정보의 용량이나 구조를 개선하는 방법을 사용했습니다. 그러나 이러한 방법들은 사전 학습된 예측 모델의 고유한 잠재 공간에 영향을 주지 않으면서, 관련 있는 과거 정보를 선택적으로 검색하고 통합하는 방법에 대한 직접적인 해결책을 제시하지 못합니다. 이에 우리는 HERA (Historical Evidence Routing Adapter)라는 프레임워크를 제안하며, 이는 보관된 역사적 증거를 동결된 잠재 예측기로 라우팅하는 방법입니다. 또한 Register-Routed Patch Memory (RRPM)이라는 경량 어댑터를 구현하여 Structured Memory Bank, Memory Registers 및 Workspace Registers로 구성했습니다. IntPhys2 메인 데이터셋에서 HERA와 RRPM을 함께 사용했을 때, V-JEPA 2-G의 쌍별 AvgSurprise 정확도가 52.57%에서 54.35%로 향상되었습니다. 하위 그룹 분석 결과, 특히 고정 카메라 연속성(46.15%에서 57.69%) 및 고정 카메라 불변성(46.15%에서 63.46%) 측면에서 큰 개선이 나타났습니다. 이러한 결과는 잠재 세계 모델에서의 물리적 예측을 위한 실용적인 적응 전략으로서의 역사적 증거 라우팅의 가능성을 뒷받침합니다.

Predictive video models have emerged as promising world models by learning latent visual dynamics from large-scale video. Yet these models remain challenged by physical events under occlusion, where later predictions may depend on object evidence that is no longer available in the current view. Addressing this challenge requires historical evidence not only to be preserved but also to remain accessible when it becomes relevant to a subsequent prediction. Existing approaches mainly enlarge the temporal context, cache generic video features, or impose explicit object-centric states, thereby improving the capacity or structure of retained history. However, they do not directly address how relevant historical evidence can be selectively retrieved and integrated into a pretrained predictor without interfering with its native latent workspace. Accordingly, we introduce HERA (Historical Evidence Routing Adapter), a framework for routing retained historical evidence into a frozen latent predictor, and instantiate it with Register-Routed Patch Memory (RRPM), a lightweight adapter comprising a Structured Memory Bank, Memory Registers, and Workspace Registers. On the IntPhys2 Main split, HERA with RRPM improves the pairwise AvgSurprise accuracy of V-JEPA 2-G from 52.57% to 54.35%. Subgroup analysis shows particularly strong improvements on fixed-camera continuity, from 46.15% to 57.69%, and fixed-camera immutability, from 46.15% to 63.46%. These results support historical evidence routing as a practical adaptation strategy for physical prediction in latent world models.