VidLaDA: 효율적인 비디오 이해를 위한 양방향 확산 대규모 언어 모델

VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding

현재의 비디오 대규모 언어 모델(Video LLM)은 일반적으로 비전 인코더를 통해 프레임을 인코딩하고, 이해 및 생성 작업을 위해 자기 회귀(AR) 언어 모델을 사용합니다. 그러나 이러한 AR 방식은 필연적으로 두 가지 효율성 병목 현상을 겪습니다. 첫째, 엄격하게 단방향적인 어텐션은 전체적인 시공간 정보 통합을 저해하여 이해 효율성을 떨어뜨립니다. 둘째, 순차적인 디코딩은 생성 효율성을 제한합니다. 이러한 문제를 해결하기 위해, 우리는 양방향 어텐션을 활용하여 포괄적인 시공간 모델링을 가능하게 하고, 토큰을 병렬로 디코딩하는 확산 언어 모델(DLM) 기반의 비디오 LLM인 VidLaDA를 제안합니다. 또한, 확산 디코딩의 계산 부담을 줄이기 위해, 비동기적인 시각적 캐시 업데이트와 프레임 단위의 청크 어텐션을 결합하여 중복을 제거하는 가속화 전략인 MARS-Cache를 도입했습니다. 실험 결과, VidLaDA는 최첨단 AR 모델(예: Qwen2.5-VL 및 LLaVA-Video)과 동등한 성능을 보이며, DLM 모델보다 우수한 성능을 나타냈습니다. 또한, MARS-Cache는 정확도를 저하시키지 않고 12배 이상의 속도 향상을 제공했습니다. 코드 및 체크포인트는 https://github.com/ziHoHe/VidLaDA 에서 공개됩니다.

Current Video Large Language Models (Video LLMs) typically encode frames via a vision encoder and employ an autoregressive (AR) LLM for understanding and generation. However, this AR paradigm inevitably faces a dual efficiency bottleneck: strictly unidirectional attention compromises understanding efficiency by hindering global spatiotemporal aggregation, while serial decoding restricts generation efficiency. To address this, we propose VidLaDA, a Video LLM based on Diffusion Language Models (DLMs) that leverages bidirectional attention to unlock comprehensive spatiotemporal modeling and decode tokens in parallel. To further mitigate the computational overhead of diffusion decoding, we introduce MARS-Cache, an acceleration strategy that prunes redundancy by combining asynchronous visual cache refreshing with frame-wise chunk attention. Experiments show VidLaDA rivals state-of-the-art AR baselines (e.g., Qwen2.5-VL and LLaVA-Video) and outperforms DLM baselines, with MARS-Cache delivering over 12x speedup without compromising accuracy. Code and checkpoints are open-sourced at https://github.com/ziHoHe/VidLaDA.