EmpaAva: 오픈 소스 기반의 에이전트형 3D 아바타 공감 대화형 챗봇

EmpaAva: An Open-source Agentic 3D-Avatar Empathetic Live Chatbot

본 논문에서는 EmpaAva를 소개합니다. EmpaAva는 현재까지 알려진 바로는 최초의 오픈 소스 기반, 에이전트형 3D 아바타 공감 대화형 챗봇으로, 기존의 텍스트 기반 상호작용에서 벗어나 실시간, 직접적인 상호작용을 통해 공감 반응을 생성합니다. 사용자는 비디오 통화와 유사한 인터페이스를 통해 3D 디지털 휴먼과 대화하며, 이 아바타는 음성을 통해 사용자의 감정을 인식하고(선택적으로 시각 정보도 활용), 감정 표현이 담긴 음성, 입 모양에 맞춘 얼굴 움직임, 그리고 사실적인 3D 가우시안 렌더링을 통해 응답합니다. EmpaAva의 핵심은 LLM 기반의 트리-에이전트 아키텍처로, 인식, 공감 반응 계획, 그리고 실제 구현 과정이 순환적으로 연결되어 있으며, 추가적으로 응답 계획 레이어를 통해 각 응답을 실행 가능한 다중 모드(음성, 표정, 렌더링) 계획으로 통합하여 하나의 공감 의도를 표현합니다. 강력한 오픈 소스 모듈들을 기반으로 구축된 EmpaAva는 이러한 요소들을 하나로 묶어 제어 가능하고 검토 가능한 경험을 제공합니다. 자동 평가 및 사용자 평가 결과, EmpaAva는 감정 이해 능력, 응답 품질, 그리고 시각-청각 일관성 측면에서 기존의 텍스트 기반, 2D 말하는 얼굴 이미지, 그리고 다중 모드 아바타 모델들을 능가했습니다. 우리는 EmpaAva를 오픈 소스로 공개하며, 온라인 데모 버전을 함께 제공합니다.

This paper presents EmpaAva, to our knowledge the first open-source, agentic 3D-avatar empathetic chatbot, which carries empathetic response generation (ERG) from text-only exchanges into live, face-to-face interaction. Through a video-call-like interface, a user speaks to a 3D digital human that reads their affect from speech and optional vision, and replies with emotional speech, lip-synced facial motion, and photorealistic 3D Gaussian rendering. At its core, an LLM coordinates a Tri-Agent Architecture, in which perception, empathetic response planning, and embodied rendering form a closed loop, paired with a Response Planning layer that compiles each reply into an executable multimodal plan, keeping voice, expression, and rendering on one empathetic intent. Building on strong open-source modules, EmpaAva supplies the intelligence that binds them into one controllable, inspectable experience. In automatic and human evaluations, EmpaAva surpasses text-only, 2D talking-face, and multimodal avatar baselines in emotion understanding, response quality, and audio-visual consistency. We open-source EmpaAva with an online live demo.