통합 동적 얼굴 특징점 검출을 향하여

Towards Unified Dynamic Face Landmark Detection

얼굴 특징점 검출(FLD) 방법의 발전은 성능 향상을 지속적으로 이루어내고 있지만, 다음과 같은 두 가지 주요 기능적 한계를 간과하고 있습니다. (1) 각 'N-점' 벤치마크 데이터셋에 대해 서로 다른 네트워크 파라미터를 독립적으로 학습해야 하며, (2) 'N-점' 데이터셋으로 학습된 모델은 신뢰성 있게 오직 N개의 특징점만을 출력합니다. 본 연구에서는 먼저 얼굴 부분에 연결된 특징점 위치(FPALP, Face Part-Anchored Landmark Positions)라는 개념을 제시합니다. 여기서 각 특징점은 얼굴 부분의 윤곽선을 따라 0 (시작)에서 1 (종료)까지 진행되는 값으로 표현됩니다. 모든 특징점을 FPALP 형식으로 표현할 수 있으므로, 모든 'N-점' 데이터셋을 단일 데이터셋으로 통합할 수 있습니다. 둘째로, 각 특징점을 FPALP 기반의 쿼리로 표현하고, 크로스 모달 디코더를 사용하여 점진적으로 개선하며, 최종 표현을 바탕으로 좌표를 예측합니다. 저희가 제안하는 '통합 동적 FLD(Unified Dynamic FLD)'는 이러한 두 가지 설계 방식을 포함하며, 다음과 같은 이점을 제공함으로써 특징점 검출 파이프라인을 간소화합니다: (1) 단일 모델로 모든 수의 'N-점' 데이터셋에 대해 학습할 수 있으며, (2) 런타임 시 지정된 특징점 쿼리를 로드하여 원하는 개수의 특정 특징점 예측 결과를 얻을 수 있습니다. 여러 벤치마크 데이터셋에서의 광범위한 실험 결과는 저희 방법이 이러한 이점을 제공하며, 기존의 최첨단 방법과 경쟁하거나 그 이상의 성능을 보여준다는 것을 입증합니다.

Although advancements in face landmark detection (FLD) methods continue to push performance boundaries, they overlook two major functional limitations: (1) different network parameters need to be trained independently for each ``$N$-point'' benchmark dataset, and (2) a model trained on an ``$N$-point'' dataset reliably outputs only the $N$ landmarks. In our work, we first conceptualize Face Part-Anchored Landmark Positions (FPALPs), wherein each landmark is treated as a progression value between zero (start) and one (end) along a face part's contour. Every landmark can be expressed in the FPALP format, irrespective of its source dataset, hence unlocking the ability to unify all ``$N$-point'' datasets into a single dataset. Secondly, we represent each landmark with an FPALP-based query, refine it progressively with a cross-modality decoder, and predict its coordinates based on the final representation. Our approach, called Unified Dynamic FLD, embodies these two design choices and streamlines the landmark detection pipeline by enabling (1) a single model to learn on any number of ``$N$-point'' datasets, and (2) yield any number of specific landmark predictions by loading the designated landmark queries at runtime. Extensive experiments on multiple benchmark datasets show that our method delivers these benefits while remaining competitive with, and in several cases outperforming existing state-of-the-art methods.