GUI-Lens: 일반적인 시각-언어 모델을 활용한 GUI 기반 작업 환경에서의 대략적-정밀 크롭핑 기술

GUI-Lens: Coarse-to-Fine Cropping for GUI Grounding with General-Purpose VLMs

GUI 기반 작업 환경(grounding)은 자연어 지시사항을 클릭 위치로 매핑하며, 안정적인 GUI 에이전트를 구축하는 데 필수적입니다. 하지만 고해상도이며 밀집된 인터페이스에서는, 시각-언어 모델(VLM)이 요청된 컨트롤을 인식하더라도 정확한 위치를 파악하지 못하여 어려움을 겪습니다. 기존 방법들은 다양한 형태의 지역화 지원 기능을 제공하지만, 여전히 직접적인 클릭 예측에 의존하며, 이로 인해 시각적 모호성 또는 부정확한 초기 추정이 최종 결과로 전달될 수 있습니다. 본 논문에서는 GUI-Lens라는 대략적-정밀 크롭핑 프레임워크를 소개합니다. GUI-Lens는 일반적인 VLM이 능동적인 시각 정보 관찰을 통해 목표 위치를 결정하도록 지원합니다. 구체적으로, GUI-Lens는 스크린샷에서 OCR 텍스트와 감지된 UI 구성 요소를 추출하여 해당 위치를 좌표 기준으로 제시합니다. 지시사항, 현재 화면, 그리고 이러한 참조 정보를 활용하여 VLM은 다음 화면의 영역과 배율을 선택하며, 이는 크롭핑 및 확대되어 더욱 세밀한 시각적 정보를 제공합니다. 이 과정은 목표 위치가 결정될 때까지 점진적으로 좁혀지는 화면으로 반복됩니다. 제안된 크롭 영역과 클릭 지점은 전체 과정 동안 지시사항과 비교 검토되며, 최종 위치는 원래 화면 좌표로 매핑됩니다. 네 가지 GUI 기반 작업 환경 벤치마크와 세 가지 일반적인 VLM 백엔드를 사용한 실험 결과, GUI-Lens는 전반적인 정확도를 최대 24.9% 포인트 향상시키고 GPT-5.5 모델을 사용할 때 최고 성능을 달성했습니다.

GUI grounding maps natural-language instructions to click locations and is essential for reliable GUI agents. The task remains difficult on high-resolution, densely populated interfaces because a vision-language model (VLM) may recognize a requested control without locating it precisely enough for interaction. Most existing methods provide various forms of localization assistance, but still rely on a direct click prediction, allowing visual ambiguity or an inaccurate initial estimate to propagate to the final result. In this paper, we introduce GUI-Lens, a coarse-to-fine grounding framework that allows a general-purpose VLM to determine the target through active visual observations. Specifically, GUI-Lens extracts OCR text and detected UI components from the screenshot and presents their positions as coordinate references. Using the instruction, the current view, and these references, the VLM selects the region and scale of the next view, which is cropped and enlarged to provide finer visual details. This process continues over successively focused views until the target is determined. Proposed crops and clicks are checked against the instruction throughout the process, and the final local position is mapped back to the original screen coordinates. Experiments on four GUI grounding benchmarks and three general-purpose VLM backends show that GUI-Lens improves overall grounding accuracy by up to 24.9 percentage points and achieves state-of-the-art performance with GPT-5.5.