ReAge3D: 시점 일관성을 고려한 3차원 얼굴의 재연령화

ReAge3D: Re-Aging 3D Faces with View Consistency

본 논문에서는 현실적이고 제어 가능한 3차원 얼굴 재연령화를 위한 새로운 프레임워크를 제시하며, 매우 상세하고 개별 특징을 보존하는 결과를 얻습니다. 기존의 3차원 편집 방법은 큰 의미 변화에는 효과적이지만, 재연령화에는 적합하지 않습니다. 왜냐하면 재연령화된 2차원 이미지에서 작은 불일치라도 미묘하지만 시각적으로 중요한 연령 관련 세부 사항을 과도하게 흐리게 할 수 있기 때문입니다. 이러한 문제를 해결하기 위해, 먼저 합성 데이터로 생성된 이미지 쌍으로 학습된 2차원 확산 모델인 DiffReaging을 소개합니다. 또한, 이 재연령화 모델을 활용하여 다중 시점 일관성을 갖는 재연령화 이미지를 복원하는 중심-밖 편집 전파 전략을 제안합니다. 구체적으로, 재연령화된 정면 뷰를 기준으로 시작하여, 워핑 및 제안하는 Masked-DiffReaging 과정을 통해 나머지 뷰를 복원합니다. Masked-DiffReaging은 확산 과정의 각 단계에서 기존 콘텐츠를 주입하여 복원된 영역이 기존 픽셀과 일관성을 유지하도록 합니다. 결과적으로 생성되는 일관된 재연령화 이미지 세트는 재연령화된 3차원 표현의 최적화를 감독합니다. 본 방법은 시각적으로나 정량적으로 기존의 3차원 편집 기술보다 우수한 성능을 보이며, 3차원 얼굴 모델에서 연령 변화에 대한 부드럽고 미세한 제어를 가능하게 합니다.

We present a novel framework for realistic and controllable 3D face re-aging which produces highly detailed, identity-preserving results. Existing 3D editing methods, while effective for coarse semantic changes, are not well suited for re-aging, as even small inconsistencies across re-aged 2D views can lead to over-smoothing of subtle but perceptually important age-related details. To address this challenge, we first introduce a 2D diffusion-based re-aging model, DiffReaging, trained on synthetically generated image pairs. We further propose a center-out editing propagation strategy that leverages this re-aging model to reconstruct multi-view-consistent re-aged images. Specifically, starting from a re-aged frontal pivot view, we reconstruct the remaining views through warping and our proposed Masked-DiffReaging process. By injecting existing content at every step of the diffusion process, Masked-DiffReaging ensures that the reconstructed regions remain coherent with existing pixels. The resulting consistent set of re-aged views supervises the optimization of the re-aged 3D representation. Our method outperforms existing 3D editing techniques both visually and quantitatively, enabling smooth, fine-grained control over age transformations in 3D face models.