시각적 속성은 웹 에이전트에 어떤 영향을 미치는가? 사용자 인터페이스 디자인 요소에 대한 종합적 평가

How do Visual Attributes Influence Web Agents? A Comprehensive Evaluation of User Interface Design Factors

웹 에이전트는 광범위한 웹 기반 작업에서 강력한 성능을 입증해 왔습니다. 그러나 환경 변화의 영향에 관한 기존 연구는 주로 적대적 공격에 대한 견고성에 초점을 맞추었으며, 일반적인 시나리오에서의 에이전트 선호도에는 상대적으로 주의를 덜 기울였습니다. 초기 연구들이 텍스트 속성이 에이전트의 행동에 미치는 영향을 조사했지만, 시각적 속성이 에이전트의 의사결정을 어떻게 형성하는지에 대한 체계적인 이해는 여전히 제한적입니다. 이를 해결하기 위해, 우리는 웹페이지의 시각적 속성 요인(Visual Attribute Factors)이 웹 에이전트의 의사결정에 미치는 영향을 정량화하기 위한 통제된 평가 파이프라인인 VAF를 소개합니다. 구체적으로 VAF는 세 단계로 구성됩니다. (i) 변형 생성: 변형이 원본 항목과 동일한 의미를 공유하되 시각적 속성만 다르도록 보장합니다. (ii) 브라우징 상호작용: 에이전트가 스크롤 및 관심 항목 클릭을 통해 페이지를 탐색하며 인간 사용자의 온라인 브라우징 방식을 모방합니다. (iii) 에이전트의 클릭 행동과 추론을 통한 검증: 목표 클릭률(Target Click Rate)과 목표 언급률(Target Mention Rate)을 사용하여 시각적 속성의 효과를 공동으로 평가합니다. 원본과 변형 간의 의사결정 차이를 정량적으로 측정함으로써, 우리는 어떤 시각적 속성이 에이전트의 행동에 가장 큰 영향을 미치는지 식별합니다. 8개의 변형군(총 48개 변형), 5개의 실제 웹사이트(쇼핑, 여행, 뉴스 브라우징 포함), 4개의 대표적인 웹 에이전트를 대상으로 한 광범위한 실험 결과, 배경색 대비, 항목 크기, 위치, 카드 선명도가 에이전트의 행동에 강한 영향을 미치는 반면, 폰트 스타일, 텍스트 색상, 항목 이미지 선명도는 미미한 영향을 미치는 것으로 나타났습니다.

Web agents have demonstrated strong performance on a wide range of web-based tasks. However, existing research on the effect of environmental variation has mostly focused on robustness to adversarial attacks, with less attention to agents' preferences in benign scenarios. Although early studies have examined how textual attributes influence agent behavior, a systematic understanding of how visual attributes shape agent decision-making remains limited. To address this, we introduce VAF, a controlled evaluation pipeline for quantifying how webpage Visual Attribute Factors influence web-agent decision-making. Specifically, VAF consists of three stages: (i) variant generation, which ensures the variants share identical semantics as the original item while only differ in visual attributes; (ii) browsing interaction, where agents navigate the page via scrolling and clicking the interested item, mirroring how human users browse online; (iii) validating through both click action and reasoning from agents, which we use the Target Click Rate and Target Mention Rate to jointly evaluate the effect of visual attributes. By quantitatively measuring the decision-making difference between the original and variant, we identify which visual attributes influence agents' behavior most. Extensive experiments, across 8 variant families (48 variants total), 5 real-world websites (including shopping, travel, and news browsing), and 4 representative web agents, show that background color contrast, item size, position, and card clarity have a strong influence on agents' actions, whereas font styling, text color, and item image clarity exhibit minor effects.