첫인상을 통한 성격 추론: 얼굴 이미지로부터 드러나는 성격 파악

Knowing You at First Glance: Inferring Apparent Personality from Faces

얼굴 이미지를 통해 드러나는 성격을 추론하는 것은, 인간-로봇 상호작용에서 로봇 에이전트가 사회적 상황에 적응하는 데 중요한 역할을 합니다. 기존 연구에서는 주로 대화를 통해 내면의 성격 특성을 추론하거나 언어 또는 다중 모달 데이터를 활용했지만, 본 연구는 상호작용 시작 전 얼굴 이미지만을 사용하여 첫인상으로 느껴지는 성격을 모델링합니다. 기존 연구들이 빅 파이브(Big Five) 성격 모델에 집중하고 있는 반면, 얼굴 표정만으로도 의미있는 성격 특성과의 연관성을 나타낼 수 있는지 불분명했습니다. 특히, 실생활에서 널리 사용되고 대규모 언어 모델로 해석하기 용이한 MBTI 유형에 대한 연구가 중요합니다. 이에 본 연구에서는 시각-언어 모델을 활용하여 의미론적 정보를 제공하고, 미묘한 성격 관련 단서를 포착할 수 있는 얼굴 표현 모듈과 노이즈 및 주관적인 레이블을 처리하기 위한 불확실성 기반 학습 전략을 결합한 end-to-end 프레임워크인 GlanceFace를 제안합니다. 광범위한 실험 결과, GlanceFace는 MBTI 기반의 성격 추론 벤치마크에서 뛰어난 성능을 보였으며, 얼굴 특징과 인식되는 성격 특성 간의 관계를 밝혀냈습니다. 이는 로봇 에이전트가 초기 상호작용 전략을 조정하는 데 잠재적으로 기여할 수 있습니다. 코드와 데이터셋은 https://github.com/MrHuan3/GlanceFace에서 확인할 수 있습니다.

Inferring apparent personality from facial images is important in social scenarios for embodied agents in human-robot interaction. Unlike inferring intrinsic personality traits via conversation, this task models first-impression personality perception based solely on facial appearance before interaction begins. Existing studies mainly focus on the Big Five personality model and often rely on language or multimodal inputs. As a result, it remains unclear whether facial cues alone can support meaningful associations with perceived personality traits. This question is particularly relevant for MBTI types, which are widely used in practice and more readily interpretable by large language models. To this end, we propose \textbf{GlanceFace}, an end-to-end framework for apparent personality inference leveraging vision-language models to introduce semantic priors and a semantic-enhanced facial representation module to capture subtle personality-related cues, together with an uncertainty-aware learning strategy to handle noisy and subjective annotations. Extensive experiments demonstrate strong performance on MBTI-based apparent personality benchmarks and reveal relationships between facial characteristics and perceived personality traits, highlighting its potential to support adaptive initial interaction strategies for embodied agents. The code and dataset are available at https://github.com/MrHuan3/GlanceFace.