시각적 단서 충돌의 신뢰성에 대한 연구: 그 이상을 탐구하다

On the Reliability of Cue Conflict and Beyond

신경망이 시각적 단서에 어떻게 의존하는지를 이해하는 것은 신경망의 내부 의사 결정 과정을 인간이 이해하기 쉽게 설명하는 데 도움이 됩니다. 시각적 단서 충돌 벤치마크는 형태-질감 선호도를 파악하고, 인간과 유사한 형태 편향이 종종 더 나은 성능으로 이어진다는 통찰력을 제공하는 데 중요한 역할을 해왔습니다. 그러나 현재의 스타일화 기반 구현 방식은 불안정하고 모호한 편향 추정치를 생성할 수 있다는 것을 발견했습니다. 구체적으로, 스타일화는 반드시 인지적으로 유효하고 구별 가능한 단서를 생성하지 못하며, 단서의 상대적인 정보량을 제어하지 못할 수 있습니다. 또한, 비율 기반 편향은 절대적인 단서 민감도를 가리고, 미리 선택된 클래스로만 평가를 제한하면 모델의 예측이 전체 의사 결정 공간을 고려하지 않아 왜곡될 수 있습니다. 이러한 요인들은 편향을 단서의 유효성, 균형 및 인지 가능성의 문제로 혼동시킬 수 있습니다. 우리는 신뢰성 있고 해석 가능한 형태-질감 편향 진단을 위한 통합 데이터셋 및 평가 프레임워크인 REFINED-BIAS를 소개합니다. REFINED-BIAS는 명시적인 형태 및 질감 정의를 사용하여 균형 잡히고 인간 및 모델이 인지할 수 있는 단서 쌍을 구성하고, 순위 기반 메트릭을 통해 전체 레이블 공간에서 단서별 민감도를 측정하여 보다 공정한 모델 간 비교를 가능하게 합니다. 다양한 학습 환경 및 아키텍처에서 REFINED-BIAS는 보다 공정한 모델 간 비교, 형태 및 질감 편향에 대한 더 정확한 진단 및 명확한 경험적 결론을 제공하며, 이전의 시각적 단서 충돌 평가에서 명확하게 구분하기 어려웠던 불일치를 해결합니다.

Understanding how neural networks rely on visual cues offers a human-interpretable view of their internal decision processes. The cue-conflict benchmark has been influential in probing shape-texture preference and in motivating the insight that stronger, human-like shape bias is often associated with improved in-domain performance. However, we find that the current stylization-based instantiation can yield unstable and ambiguous bias estimates. Specifically, stylization may not reliably instantiate perceptually valid and separable cues nor control their relative informativeness, ratio-based bias can obscure absolute cue sensitivity, and restricting evaluation to preselected classes can distort model predictions by ignoring the full decision space. Together, these factors can confound preference with cue validity, cue balance, and recognizability artifacts. We introduce REFINED-BIAS, an integrated dataset and evaluation framework for reliable and interpretable shape-texture bias diagnosis. REFINED-BIAS constructs balanced, human- and model- recognizable cue pairs using explicit definitions of shape and texture, and measures cue-specific sensitivity over the full label space via a ranking-based metric, enabling fairer cross-model comparisons. Across diverse training regimes and architectures, REFINED-BIAS enables fairer cross-model comparison, more faithful diagnosis of shape and texture biases, and clearer empirical conclusions, resolving inconsistencies that prior cue-conflict evaluations could not reliably disambiguate.