ID-Sim: 정체성을 중심으로 한 유사성 측정 방법

ID-Sim: An Identity-Focused Similarity Metric

사람은 놀라운 선택적 민감성을 가지고 있으며, 다양한 관점이나 조명과 같은 매우 다른 맥락에서도 매우 유사한 정체성을 쉽게 구별합니다. 시각 모델은 이러한 능력을 따라오기 어려웠으며, 개인화된 이미지 생성과 같은 정체성 중심 작업의 발전은 정체성을 고려한 평가 지표의 부족으로 인해 더뎌지고 있습니다. 이러한 발전을 촉진하기 위해, 우리는 인간의 선택적 민감성을 정확하게 반영하도록 설계된 순방향 측정 방법인 ID-Sim을 제안합니다. ID-Sim을 구축하기 위해, 우리는 다양한 실제 영역을 포괄하는 고품질의 이미지 학습 데이터 세트를 큐레이션하고, 제어된 정체성과 맥락의 미세한 변화를 제공하는 생성 합성 데이터를 추가했습니다. 우리는 제안하는 측정 방법을 정체성 중심의 인식, 검색 및 생성 작업에 대한 인간 주석과의 일관성을 평가하는 새로운 통합 평가 벤치마크에서 평가했습니다.

Humans have remarkable selective sensitivity to identities -- easily distinguishing between highly similar identities, even across significantly different contexts such as diverse viewpoints or lighting. Vision models have struggled to match this capability, and progress toward identity-focused tasks such as personalized image generation is slowed by a lack of identity-focused evaluation metrics. To help facilitate progress, we propose ID-Sim, a feed-forward metric designed to faithfully reflect human selective sensitivity. To build ID-Sim, we curate a high-quality training set of images spanning diverse real-world domains, augmented with generative synthetic data that provides controlled, fine-grained identity and contextual variations. We evaluate our metric on a new unified evaluation benchmark for assessing consistency with human annotations across identity-focused recognition, retrieval, and generative tasks.