StreamHOI: 상호작용 인식 시간적 메모리 적응을 통한 스트리밍 기반 인간-객체 상호작용(HOI) 비디오 생성

StreamHOI: Interaction-aware Temporal Memory Adaptation for Streaming HOI Video Generation

기존의 인간-객체 상호작용(HOI) 비디오 생성 방법은 복잡한 조건 하에서 짧은 비디오만 생성하는 경우가 많아 실시간 인터랙티브 애플리케이션에 적합하지 않습니다. 본 논문에서는 저지연 스트리밍 프레임워크인 extit{StreamHOI}를 제안합니다. StreamHOI는 복잡하게 조건을 설정한 HOI 파이프라인을 스트리밍 시스템으로 변환하는 대신, 이미지-비디오 스트리밍 생성기가 제한된 지연 시간 내에 상호작용을 유지하기 위해 과거 정보를 어떻게 구성해야 하는지를 연구합니다. 표준적인 로컬 메모리 설계는 스트리밍 HOI 생성에서 트레이드오프를 발생시키며, 다양한 Transformer 블록은 HOI 영역과 주변 영역에 대해 서로 다른 과거 정보 선호도를 보이는 것을 확인했습니다. StreamHOI는 이러한 현상을 해결하기 위해, 오프라인에서 HOI 정보를 고려한 블록 프로파일링을 수행하고, 생성기를 각 블록에 특화된 메모리 레이아웃에 맞게 조정하는 편향 기반의 전문화된 학습 방법을 적용합니다. 또한, 초기 상호작용 상태에 대한 장거리 접근성을 강화하기 위해 메모리 거리 스케일링 모듈을 추가했습니다. 광범위한 실험 결과는 StreamHOI가 기존의 장비디오 기준 모델 및 최신 HOI 생성 방법과 비교하여 높은 수준의 상호작용 타당성, 객체 충실도, 인간 품질 및 효율성을 달성하며, 0.75초의 초기 지연 시간으로 17.6 FPS의 성능을 보인다는 것을 보여줍니다.

Existing human--object interaction (HOI) video generation methods are largely limited to offline short-video generation with complex driving conditions, making them unsuitable for real-time interactive applications. We present \emph{StreamHOI}, a low-latency streaming framework for long-duration HOI video generation. Instead of converting heavily conditioned HOI pipelines into streaming systems, we study how an image-to-video streaming generator should organize historical memory to preserve interactions under bounded latency. We find that the standard sink-local memory design faces a trade-off in streaming HOI generation, and different transformer blocks show different historical-memory preferences for HOI regions and surrounding regions. To match memory composition with block behavior, StreamHOI performs offline HOI-aware block profiling and applies bias-guided memory-specialized training to adapt the generator to block-specific memory layouts. We further introduce a memory distance scaling module to strengthen long-range access to early interaction states. Extensive comparisons with both long-video baselines and recent HOI generation methods demonstrate that StreamHOI achieves strong interaction plausibility, object fidelity, human quality and efficiency, reaching 17.6 FPS with 0.75s first-chunk latency.