AlphaFace: 얼굴 자세에 강건하며 고품질의 실시간 얼굴 교체 모델

AlphaFace: High Fidelity and Real-time Face Swapper Robust to Facial Pose

기존의 얼굴 교체 방법들은 제한적인 환경에서는 경쟁력 있는 결과를 보여주지만, 극단적인 얼굴 자세에서는 품질이 크게 저하되는 경향이 있습니다. 얼굴 자세에 대한 강건성을 향상시키기 위해 명시적인 기하학적 특징을 활용하는 방법이 있지만, 이는 추가적인 의존성을 유발하고 계산 비용을 증가시키는 문제가 있습니다. 확산 모델 기반 방법은 뛰어난 결과를 보여주었지만, 실시간 처리에 적합하지 않습니다. 본 논문에서는 오픈 소스 비전-언어 모델과 CLIP 이미지 및 텍스트 임베딩을 활용하여 새로운 시각적 및 텍스트 의미론적 대비 손실 함수를 적용하는 AlphaFace을 제안합니다. AlphaFace은 더욱 강력한 신원 표현과 정확한 속성 보존을 가능하게 하며, 동시에 실시간 성능을 유지합니다. FF++, MPIE, LPFF 데이터셋에 대한 광범위한 실험 결과, AlphaFace이 어려운 얼굴 자세 환경에서 최첨단 방법들을 능가하는 성능을 보여줍니다. 본 프로젝트는 `https://github.com/andrewyu90/Alphaface_Official.git' 에서 공개적으로 이용 가능합니다.

Existing face-swapping methods often deliver competitive results in constrained settings but exhibit substantial quality degradation when handling extreme facial poses. To improve facial pose robustness, explicit geometric features are applied, but this approach remains problematic since it introduces additional dependencies and increases computational cost. Diffusion-based methods have achieved remarkable results; however, they are impractical for real-time processing. We introduce AlphaFace, which leverages an open-source vision-language model and CLIP image and text embeddings to apply novel visual and textual semantic contrastive losses. AlphaFace enables stronger identity representation and more precise attribute preservation, all while maintaining real-time performance. Comprehensive experiments across FF++, MPIE, and LPFF demonstrate that AlphaFace surpasses state-of-the-art methods in pose-challenging cases. The project is publicly available on `https://github.com/andrewyu90/Alphaface_Official.git'.