HYDRA-X: 통합된 다중 모드 모델과 전체적인 시각 토크나이저

HYDRA-X: Native Unified Multimodal Models with Holistic Visual Tokenizers

통합 다중 모드 모델(UMM)에서, 다양한 시각적 입력을 통일된 표현 공간으로 매핑하는 것은 핵심적인 역할을 합니다. 본 논문에서는 HYDRA-X를 소개합니다. HYDRA-X는 이미지와 비디오 토큰화를 단일 Vision Transformer (ViT) 내에서 통합하는 최초의 UMM입니다. 저희의 설계는 두 가지 주요 과제에 의해 주도됩니다. 첫째, 네이티브 ViT에 효율적으로 공간-시간 재구성 능력을 주입하는 것과 둘째, 이미지 및 비디오 수준의 의미론적 인식을 잠재 공간에 포함시키는 것입니다. 첫 번째 과제를 해결하기 위해, 포괄적인 분석 결과 두 가지 중요한 사실을 발견했습니다: (1) 프레임 단위의 인과적 시간 어텐션이 시각 재구성에 충분하며, 전체적인 공간-시간 어텐션은 성능을 저하시키고, (2) 계층적인 시간 압축이 단일 단계 방식보다 훨씬 우수한 성능을 보입니다. 두 번째 과제를 해결하기 위해, 이미지와 비디오의 지도 학습을 통해 일관성을 강화하고, 콤팩트한 잠재 공간 내에 상호 보완적인 의미론적 구조를 구축하는 가벼운 디컴프레서를 제안합니다. 이 전체적인 토크나이저를 기반으로, 저희는 편집 파이프라인의 원리적인 개선을 추가로 제안합니다: 소스-타겟 상호 작용은 토크나이저 내부의 잠재 수준에서 이루어져야 하며, LLM 내부의 의미론적 수준에서는 이루어지지 않아야 합니다. 이는 편집 일관성을 크게 향상시키고 수렴 속도를 가속화합니다. 7B 밀집 모델로 구현된 HYDRA-X는 이미지 및 비디오 이해 및 생성 작업에서 뛰어난 성능을 보이며, 향후 통합 토크나이저 기반 UMM의 발전을 위한 길을 열어줍니다.

Holistic visual tokenizers are fundamental to unified multimodal models (UMMs) as they map diverse visual inputs into a unified representation space. In this paper, we present HYDRA-X, the first UMM that unifies image and video tokenization within a single Vision Transformer (ViT). Our design is driven by two core challenges: efficiently injecting spatiotemporal reconstruction capability into a native ViT, and embedding image- and video-level semantic awareness into the latent space. To address the first, comprehensive ablations reveal two key findings: (1) frame-level causal temporal attention suffices for visual reconstruction, whereas full spatiotemporal attention degrades it; and (2) hierarchical temporal compression substantially outperforms single-step alternatives. To tackle the second, we propose a lightweight decompressor that upsamples temporally compressed features under joint image-video teacher supervision, thereby enforcing complementary semantic structures within the compact latent space. Building on this holistic tokenizer, we further propose a principled improvement of the editing pipeline: source-target interaction should occur at the latent level inside the tokenizer rather than at the semantic level inside the LLM, substantially improving editing consistency and accelerating convergence. Instantiated at the 7B dense model, HYDRA-X achieves strong performance across image and video understanding and generation tasks, paving the way for future unified-tokenizer UMMs.