HelloWorld: 비디오 월드 모델에서 사회적 상호작용을 가능하게 하는 기술

HelloWorld: Enabling Socially Interactive Characters in Video World Models

최근 비디오 월드 모델의 놀라운 발전에도 불구하고, 사용자들과 이러한 세계 안의 캐릭터 간의 사회적 상호작용은 아직 지원되지 않습니다. 이 격차를 해소하기 위해, 우리는 HelloWorld라는 비디오 월드 모델을 소개합니다. 이 모델은 사용자가 게임 내 캐릭터와 사회적으로 상호작용할 수 있도록 합니다. 사용자는 간단한 버튼 클릭만으로 화면에 있는 캐릭터가 카메라 쪽으로 반응하도록 유도할 수 있습니다. 예를 들어, 캐릭터는 시청자를 향해 고개를 돌리거나, 손을 흔들거나, 고개를 끄덕이거나, 짧은 인사를 할 수 있습니다. 이러한 상호작용을 자연스럽게 만들기 위해, 자체 생성 데이터를 기반으로 비디오 생성 모델을 미세 조정하는 자기 증류 파이프라인을 제안합니다. 각 생성된 클립에는 사회적 상호작용과 카메라 움직임이 모두 포함되어 있어, 모델은 상호작용 품질 저하 없이 카메라 자세에 따른 조건을 학습할 수 있습니다. 추론 과정에서, 우리는 훈련 과정이 필요 없는 모듈을 추가하여 상호작용 발생 시점을 결정합니다. 버튼이 눌리면 이 모듈은 DiT의 크로스 어텐션 마스크를 조절하여, 상호 작용과 관련된 텍스트 프롬프트가 버튼 클릭 시점 내의 프레임에만 집중하도록 하여 캐릭터의 반응을 시간적으로 특정합니다. 또한, 평가를 위해 세 가지 사회적 상호작용 지표와 세 가지 기존 지표를 포함하는 400개의 샘플로 구성된 HelloWorldBench 벤치마크를 구축했습니다. 실험 결과는 HelloWorld가 다양한 기준 모델보다 상호 작용 품질이 뛰어나며, 최첨단 수준의 이미지 미학 및 카메라 자세 추적 성능을 유지한다는 것을 보여줍니다. 프로젝트 페이지: https://github.com/AlayaLab/HelloWorld

Despite the remarkable recent progress of video world models, social interaction between users and the characters within these worlds remains unsupported. To fill this gap, we present HelloWorld, a video world model that enables social interaction with in-world characters. With a single button press, users can prompt the on-screen character to respond toward the camera, e.g., turning to the viewer, waving, nodding, or speaking a short greeting. To make these interactions natural, we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself. Each synthesized clip contains both social interactions and camera motion, allowing the model to learn camera-pose conditioning without degrading interaction quality. At inference, we further introduce a training-free module that determines when the interaction occurs. Upon a button press, it modulates the cross-attention masks of the DiT so that the interaction-related text prompt attends only to the frames within the press window, temporally localizing the character's response. We further build HelloWorldBench, a 400-sample benchmark with three social interaction metrics alongside three conventional metrics, for evaluation. Experiments demonstrate that HelloWorld surpasses a variety of baselines in interaction quality, while maintaining state-of-the-art picture aesthetics and camera-pose following. Project page: https://github.com/AlayaLab/HelloWorld