텍스트 기반 감정 연속 표현 대화형 얼굴 생성

Text-Driven Emotionally Continuous Talking Face Generation

대화형 얼굴 생성(TFG)은 사실적이고 감정 표현이 풍부한 디지털 얼굴을 만드는 것을 목표로 합니다. 기존의 TFG 연구는 자연스러운 얼굴 움직임을 생성하는 데 성공했지만, 일반적으로 합성 비디오에서 고정된 감정을 표현하며, 인간이 정보를 전달할 때처럼 지속적으로 변화하고 자연스러운 표현을 보여주는 능력은 부족합니다. 본 연구에서는 현실적인 비디오를 생성하기 위해, 텍스트 조각과 다양한 감정을 포함하는 감정 설명을 입력으로 받아, 해당 텍스트를 말하면서 설명에 나타난 감정 변화를 반영하는 비디오를 생성하는 새로운 작업인 '감정 연속 표현 대화형 얼굴 생성(EC-TFG)'을 제안합니다. 또한, 시간적 변화에 민감한 감정 모델링(Temporal-Intensive Emotion Fluctuation Modeling)을 활용하여 역동적인 감정 변화를 효과적으로 관리하는 맞춤형 모델인 '시간적 집중 감정 조절 대화형 얼굴 생성(TIE-TFG)'을 소개합니다. TIE-TFG는 입력 텍스트에 대응하는 감정 변화 시퀀스를 제공하여 합성 비디오에서 지속적인 얼굴 표정 변화를 유도합니다. 광범위한 실험 결과는 제안하는 방법이 다양한 감정 상태에서 부드러운 감정 전환을 생성하고, 높은 품질의 시각적 요소와 자연스러운 움직임을 유지하는 데 탁월한 능력을 보여줍니다.

Talking Face Generation (TFG) strives to create realistic and emotionally expressive digital faces. While previous TFG works have mastered the creation of naturalistic facial movements, they typically express a fixed target emotion in synthetic videos and lack the ability to exhibit continuously changing and natural expressions like humans do when conveying information. To synthesize realistic videos, we propose a novel task called Emotionally Continuous Talking Face Generation (EC-TFG), which takes a text segment and an emotion description with varying emotions as driving data, aiming to generate a video where the person speaks the text while reflecting the emotional changes within the description. Alongside this, we introduce a customized model, i.e., Temporal-Intensive Emotion Modulated Talking Face Generation (TIE-TFG), which innovatively manages dynamic emotional variations by employing Temporal-Intensive Emotion Fluctuation Modeling, allowing it to provide emotion variation sequences corresponding to the input text to drive continuous facial expression changes in synthesized videos. Extensive evaluations demonstrate our method's exceptional ability to produce smooth emotion transitions and uphold high-quality visuals and motion authenticity across diverse emotional states.