U-Face: 부분 공간 학습을 통한 비지도 얼굴 속성 편집을 위한 효율적이고 일반화 가능한 프레임워크

U-Face: An Efficient and Generalizable Framework for Unsupervised Facial Attribute Editing via Subspace Learning

잠재 공간 기반 얼굴 속성 편집 방법은 디지털 엔터테인먼트, 가상 아바타 제작, 인간-컴퓨터 상호 작용 시스템과 같은 응용 분야에서 효율적이고 유연한 속성 조작, 특히 연속적인 편집에 대한 잠재력으로 인해 인기를 얻고 있습니다. 이 중, 레이블된 데이터에 의존하지 않고 효과적인 의미 벡터를 발견하는 비지도 잠재 공간 기반 방법은 연구 커뮤니티에서 상당한 관심을 받고 있습니다. 그러나 기존 방법은 여전히 분리(disentanglement)라는 어려움에 직면하고 있는데, 특정 얼굴 속성을 조작하면 의도치 않게 다른 속성에 영향을 미쳐 정밀한 제어를 복잡하게 만들기 때문입니다. 이러한 과제에 대응하기 위해, 우리는 비지도 얼굴 속성 편집을 위한 효과적이고 적응 가능한 솔루션을 제공하는 새로운 프레임워크인 Unsupervised Facial Attribute Controllable Editing (U-Face)을 제안합니다. 제안된 방법은 의미 벡터 학습을 부분 공간 학습 문제로 정의하며, 여기서 잠재 벡터는 의미 벡터 행렬로 구성된 저차원 의미 부분 공간 내에서 근사됩니다. 이 공식은 또한 투영-재구성 관점에서 동등하게 해석될 수 있으며, 자동 인코더 프레임워크로 더욱 일반화되어 유연한 방식으로 분리된 표현 학습을 지원하는 기반을 제공합니다. 분리 및 제어력을 향상시키기 위해, 우리는 의미 벡터에 직교하는 양의 제약 조건을 부과하고, 학습된 방향에서의 얽힘을 줄이기 위해 속성 경계 벡터를 포함합니다. 이러한 제약 조건은 최적화 문제를 어렵게 만들지만, 우리는 닫힌 형식의 업데이트와 특정 조건 하에서 증명 가능한 수렴을 갖는 반복적인 알고리즘인 Alternating Iterative Disentanglement and Controllability (AIDC)를 설계했습니다.

Latent space-based facial attribute editing methods have gained popularity in applications such as digital entertainment, virtual avatar creation, and human-computer interaction systems due to their potential for efficient and flexible attribute manipulation, particularly for continuous edits. Among these, unsupervised latent space-based methods, which discover effective semantic vectors without relying on labeled data, have attracted considerable attention in the research community. However, existing methods still encounter difficulties in disentanglement, as manipulating a specific facial attribute may unintentionally affect other attributes, complicating fine-grained controllability. To address these challenges, we propose a novel framework designed to offer an effective and adaptable solution for unsupervised facial attribute editing, called Unsupervised Facial Attribute Controllable Editing (U-Face). The proposed method frames semantic vector learning as a subspace learning problem, where latent vectors are approximated within a lower-dimensional semantic subspace spanned by a semantic vector matrix. This formulation can also be equivalently interpreted from a projection-reconstruction perspective and further generalized into an autoencoder framework, providing a foundation that can support disentangled representation learning in a flexible manner. To improve disentanglement and controllability, we impose orthogonal non-negative constraints on the semantic vectors and incorporate attribute boundary vectors to reduce entanglement in the learned directions. Although these constraints make the optimization problem challenging, we design an alternating iterative algorithm, called Alternating Iterative Disentanglement and Controllability (AIDC), with closed-form updates and provable convergence under specific conditions.