실제 얼굴 이미지 없이 얼굴 인식 성능을 평가하는 방법

Benchmarking Face Recognition without Real Faces

합성 얼굴 데이터셋은 실제 사진으로 학습된 모델과 유사한 정확도를 가진 얼굴 인식 모델을 훈련시키는 데 효과적이라는 것이 입증되었습니다. 이러한 발전은 실제 생체 정보 수집에 따르는 윤리적, 법적 부담을 줄여주지만, 평가 방법은 이에 발맞춰 발전하지 못했습니다. 심지어 합성 이미지만을 사용하여 학습한 연구조차도 성능 측정을 위해 여전히 실제 얼굴 데이터셋 벤치마크를 사용하며, 이는 개인 정보 보호 문제를 부분적으로만 해결하는 수준입니다. 본 연구에서는 합성 데이터셋이 얼굴 인식 평가를 위한 실제 벤치마크를 대체할 수 있는지 질문하고, 이를 검증하기 위해 12개의 합성 데이터셋을 사용하여 7개의 기존 실제 벤치마크에 대한 실험을 진행했습니다. 실험에는 컨볼루션 신경망 및 트랜스포머 아키텍처를 모두 사용하는 24개의 사전 학습된 모델이 사용되었습니다. 평가 항목은 생체 인식 검증 지표, 유사성 점수 분포, 모델 간 순위 일관성, 그리고 각 데이터셋의 기본적인 분포 특성을 포함합니다. 합성 데이터셋의 성능 재현성은 매우 다양했지만, 그 중 가장 우수한 MorphFace와 Vec2Face는 실제 벤치마크의 상대적인 동작을 잘 반영하며, 기존 실제 벤치마크들 사이에서 관찰되는 자연스러운 불일치를 비슷한 수준으로 나타냈습니다. 이러한 결과는 잘 설계된 합성 데이터셋이 얼굴 인식 성능에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 이는 얼굴 인식 모델의 학습 및 평가 과정 전반에 걸쳐 완전한 합성 기반의 개인 정보 보호 방식을 구축하는 데 기여할 것입니다.

Synthetic face datasets have become effective enough to train face recognition models with accuracy rivaling that of models trained on real photographs. This progress sidesteps the ethical and legal burdens of collecting real biometric data, yet evaluation has not kept pace. Even studies that train entirely on synthetic images still rely on real-face benchmarks to measure performance, leaving the privacy problem only half solved. We ask whether synthetic datasets can replace real benchmarks for face recognition evaluation. We test 12 synthetic datasets against 7 established real benchmarks using 24 pre-trained models that span both convolutional and transformer architectures. Our evaluation covers biometric verification metrics, similarity score distributions, cross-model ranking consistency, and the underlying distributional properties of each dataset. Benchmarking fidelity varies widely across the synthetic candidates, but the two strongest, MorphFace and Vec2Face, reproduce the relative behavior of real benchmarks and reach agreement levels that fall within the natural disagreement already observed among the real benchmarks themselves. These results establish that well-constructed synthetic datasets can support reliable comparative evaluation for face recognition, moving the field closer to a fully synthetic and privacy-preserving pipeline for both training and benchmarking.