시각적 속성이 웹 에이전트에 미치는 영향: 사용자 인터페이스 디자인 요인에 대한 종합적인 평가

How do Visual Attributes Influence Web Agents? A Comprehensive Evaluation of User Interface Design Factors

웹 에이전트는 다양한 웹 기반 작업에서 뛰어난 성능을 보여주었습니다. 그러나 환경 변화의 영향에 대한 기존 연구는 대부분 적대적 공격에 대한 견고성에 초점을 맞추고 있으며, 정상적인 시나리오에서의 에이전트의 선호도에 대한 연구는 상대적으로 부족합니다. 초기 연구에서 텍스트 속성이 에이전트의 행동에 미치는 영향이 조사되었지만, 시각적 속성이 에이전트의 의사 결정에 미치는 영향을 체계적으로 이해하는 것은 아직 제한적입니다. 이러한 문제를 해결하기 위해, 우리는 웹 에이전트의 의사 결정에 웹 페이지의 시각적 속인 요인이 미치는 영향을 정량적으로 평가하는 제어된 평가 파이프라인인 VAF를 소개합니다. 구체적으로, VAF는 세 단계로 구성됩니다: (i) 변형 생성, 이는 원본 항목과 동일한 의미를 공유하면서 시각적 속성만 다른 변형을 생성합니다; (ii) 탐색 상호 작용, 이는 에이전트가 스크롤 및 클릭을 통해 페이지를 탐색하며, 이는 인간 사용자가 온라인에서 탐색하는 방식을 모방합니다; (iii) 클릭 동작 및 에이전트의 추론을 통해 검증, 우리는 클릭률 및 언급률을 함께 사용하여 시각적 속성의 영향을 평가합니다. 원본과 변형 간의 의사 결정 차이를 정량적으로 측정함으로써, 어떤 시각적 속성이 에이전트의 행동에 가장 큰 영향을 미치는지 식별합니다. 8개의 변형 그룹(총 48개의 변형), 5개의 실제 웹사이트(쇼핑, 여행, 뉴스 탐색 포함), 그리고 4개의 대표적인 웹 에이전트에 대한 광범위한 실험 결과, 배경색 대비, 항목 크기, 위치, 카드 명확성이 에이전트의 행동에 큰 영향을 미치는 반면, 글꼴 스타일, 텍스트 색상, 항목 이미지 명확성은 미미한 영향을 미치는 것으로 나타났습니다.

Web agents have demonstrated strong performance on a wide range of web-based tasks. However, existing research on the effect of environmental variation has mostly focused on robustness to adversarial attacks, with less attention to agents' preferences in benign scenarios. Although early studies have examined how textual attributes influence agent behavior, a systematic understanding of how visual attributes shape agent decision-making remains limited. To address this, we introduce VAF, a controlled evaluation pipeline for quantifying how webpage Visual Attribute Factors influence web-agent decision-making. Specifically, VAF consists of three stages: (i) variant generation, which ensures the variants share identical semantics as the original item while only differ in visual attributes; (ii) browsing interaction, where agents navigate the page via scrolling and clicking the interested item, mirroring how human users browse online; (iii) validating through both click action and reasoning from agents, which we use the Target Click Rate and Target Mention Rate to jointly evaluate the effect of visual attributes. By quantitatively measuring the decision-making difference between the original and variant, we identify which visual attributes influence agents' behavior most. Extensive experiments, across 8 variant families (48 variants total), 5 real-world websites (including shopping, travel, and news browsing), and 4 representative web agents, show that background color contrast, item size, position, and card clarity have a strong influence on agents' actions, whereas font styling, text color, and item image clarity exhibit minor effects.