3D 얼굴의 도메인 불변 잠재 임베딩 학습: 제로샷 동물 표정 변환

Learning Domain Agnostic Latent Embeddings of 3D Faces for Zero-shot Animal Expression Transfer

본 연구에서는 3D 동물 얼굴 메시 모델에 인간 얼굴 표정을 제로샷 방식으로 변환하는 프레임워크를 제시합니다. 제안하는 방법은 고유한 기하학적 특징(HKS/WKS)과 메시에 독립적인 잠재 임베딩을 결합하여 얼굴의 개성과 표정을 분리합니다. ID 잠재 공간은 종에 독립적인 얼굴 구조를 포착하고, 표정 잠재 공간은 인간과 동물 모두에 일반화되는 변형 패턴을 인코딩합니다. 모델은 인간 표정 데이터만을 사용하여 학습되며, 이를 통해 다양한 개체의 표정을 분리하고 재결합하여 동물 표정 데이터를 필요로 하지 않고도 표정 변환을 가능하게 합니다. 기하학적 일관성을 유지하기 위해 Jacobian 손실과 함께 정점 위치 및 Laplacian 손실을 사용합니다. 실험 결과, 제안하는 방법은 현실감 있는 종 간 표정 변환을 달성하며, 인간과 동물 얼굴 형태 간의 기하학적 간극을 효과적으로 줄입니다.

We present a zero-shot framework for transferring human facial expressions to 3D animal face meshes. Our method combines intrinsic geometric descriptors (HKS/WKS) with a mesh-agnostic latent embedding that disentangles facial identity and expression. The ID latent space captures species-independent facial structure, while the expression latent space encodes deformation patterns that generalize across humans and animals. Trained only with human expression pairs, the model learns the embeddings, decoupling, and recoupling of cross-identity expressions, enabling expression transfer without requiring animal expression data. To enforce geometric consistency, we employ Jacobian loss together with vertex-position and Laplacian losses. Experiments show that our approach achieves plausible cross-species expression transfer, effectively narrowing the geometric gap between human and animal facial shapes.