시선 패턴이 AI 이미지 평가에서의 선호도 및 확신에 미치는 영향

Gaze patterns predict preference and confidence in pairwise AI image evaluation

강화 학습 기반 인간 피드백(RLHF) 및 직접 선호도 최적화(DPO)와 같은 선호도 학습 방법은 쌍대 비교 기반의 인간 판단에 의존하지만, 이러한 판단을 뒷받침하는 인지 과정에 대한 이해는 아직 부족합니다. 본 연구에서는 시선 추적 기술을 활용하여 쌍대 비교 방식으로 생성된 AI 이미지 평가 과정에서 선호도가 어떻게 형성되는지 조사했습니다. 30명의 참가자가 1,800회의 실험에 참여했으며, 이 과정에서 참가자들의 시선 데이터가 기록되었습니다. 연구 결과, 시선은 선택된 이미지 쪽으로 약 1초 전에 이동하는 '시선 흐름 효과'를 나타냈으며, 이는 확신 수준에 관계없이 일관적으로 나타났습니다. 시선 특징은 이진 선택 결과를 예측하는 데 68%의 정확도를 보였으며, 선택된 이미지에 대해서는 더 많은 시선 집중 시간, 고정 시선 횟수 및 재방문 횟수가 관찰되었습니다. 또한, 시선 변화 패턴은 높은 확신과 불확실한 판단을 66%의 정확도로 구별했으며, 낮은 확신을 보이는 실험에서는 초당 이미지 전환 횟수가 더 높게 나타났습니다. 이러한 결과는 시선 패턴이 쌍대 비교 방식의 이미지 평가에서 선택과 확신 모두를 예측할 수 있음을 보여주며, 시선 추적 기술이 선호도 어노테이션의 품질과 관련된 중요한 정보를 제공할 수 있음을 시사합니다.

Preference learning methods, such as Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO), rely on pairwise human judgments, yet little is known about the cognitive processes underlying these judgments. We investigate whether eye-tracking can reveal preference formation during pairwise AI-generated image evaluation. Thirty participants completed 1,800 trials while their gaze was recorded. We replicated the gaze cascade effect, with gaze shifting toward chosen images approximately one second before the decision. Cascade dynamics were consistent across confidence levels. Gaze features predicted binary choice (68% accuracy), with chosen images receiving more dwell time, fixations, and revisits. Gaze transitions distinguished high-confidence from uncertain decisions (66% accuracy), with low-confidence trials showing more image switches per second. These results show that gaze patterns predict both choice and confidence in pairwise image evaluations, suggesting that eye-tracking provides implicit signals relevant to the quality of preference annotations.