TetherCache: 게이티드 리콜 및 신뢰 기반 정렬을 활용한 자기 회귀 장편 비디오 생성의 안정화

TetherCache: Stabilizing Autoregressive Long-Form Video Generation with Gated Recall and Trusted Alignment

자기 회귀 비디오 확산 모델은 새로 생성된 프레임을 이전에 생성된 콘텐츠에 조건부로 적용함으로써 스트리밍 및 가변 길이 비디오 생성을 위한 자연스러운 접근 방식을 제공합니다. 그러나 이러한 모델을 분 단위 생성 수준으로 확장하는 것은 여전히 어려운 과제입니다. 제한된 KV-캐시 예산은 모델이 전체 히스토리를 유지하지 못하게 하며, 반복적으로 자체 생성된 프레임에 조건을 부여하면 시간이 지남에 따라 누적되는 컨텍스트 분포 변화가 발생하여 시각적 아티팩트, 품질 저하 및 시간적 드리프트를 유발합니다. 본 논문에서는 드리프트 방지에 효과적인 장편 비디오 생성을 위한 학습이 필요 없는 플러그 앤 플레이 캐시 관리 전략인 TetherCache를 제안합니다. TetherCache는 캐시를 싱크(sink), 메모리, 최근 영역으로 구성하고 두 가지 상호 보완적인 메커니즘을 도입합니다. 첫째, GRAB (Gated Recall with Attention-Diversity Balancing)은 게이티드 점수를 사용하여 주의 기반 관련성과 시간적 다양성을 결합하여 장거리 메모리 프레임을 선택함으로써 고정된 캐시 예산 내에서 유익하고 다양한 역사적 컨텍스트를 유지합니다. 둘째, TAME (Trusted Alignment via Memory Editing)은 신뢰할 수 있는 컨텍스트 분포에 맞춰 새로 검색된 메모리 토큰을 약간 수정하여 드리프트된 역사적 특징으로 인한 오염을 줄입니다. Self-Forcing을 기반으로 하는 TetherCache는 VBench-Long 데이터셋에서 30초, 60초 및 240초 설정 모두에서 장편 비디오 생성 품질을 지속적으로 향상시킵니다. 특히, 240초 생성의 경우 전반적인 점수와 의미론적 점수를 크게 향상시키면서 품질 드리프트를 7.84에서 1.33으로 줄여 안정적인 장기 자기 회귀 비디오 확산에 대한 효과를 입증합니다.

Autoregressive video diffusion models provide a natural formulation for streaming and variable-length video generation by conditioning newly generated frames on previously generated content. However, extending these models to minute-level generation remains challenging: the limited KV-cache budget prevents the model from retaining the full history, while repeatedly conditioning on self-generated frames induces a context distribution shift that accumulates over time, leading to visual artifacts, quality degradation, and temporal drift. In this paper, we propose TetherCache, a training-free and plug-and-play cache management strategy for drift-resistant long video generation. TetherCache organizes the cache into sink, memory, and recent regions, and introduces two complementary mechanisms. First, GRAB (Gated Recall with Attention-Diversity Balancing) selects long-range memory frames using a gated score that combines attention-based relevance with temporal diversity, preserving informative yet diverse historical context under a fixed cache budget. Second, TAME (Trusted Alignment via Memory Editing) lightly edits newly recalled memory tokens by aligning their statistics to a trusted context distribution, reducing the pollution caused by drifted historical features. Built on Self-Forcing, TetherCache consistently improves long-video generation quality on VBench-Long across 30s, 60s, and 240s settings. In particular, for 240s generation, it substantially improves overall and semantic scores while reducing quality drift from 7.84 to 1.33, demonstrating its effectiveness for stable long-horizon autoregressive video diffusion.