다중 모드 대규모 언어 모델을 활용한 모바일 사용자 경험 개선: 과제, 벤치마크 및 접근 방식

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

사용성, 인지적 일관성, 기능적 명확성을 중심으로 하는 사용자 경험(UX)은 실제 사용자 인터페이스(UI)에서 매우 중요합니다. 시각 요소 연결, 그래픽 사용자 인터페이스(GUI) 에이전트, 디자인-코드 생성 등 다중 모드 대규모 언어 모델(MLLM)의 UI 분야 적용은 빠르게 발전하고 있습니다. 그러나 UI 스크린샷을 기반으로 UX를 평가하는 연구는 아직 초기 단계입니다. 이를 해결하기 위해, 저희는 MLLM의 UI 기반 추론 능력을 평가하도록 설계된 2,000개의 시각적 질의 응답(VQA) 데이터 샘플로 구성된 새로운 다중 모드 벤치마크인 UXBench를 제안합니다. UXBench는 실제 UI 스크린샷을 기반으로 레이아웃 관계, 시각적 계층 구조 및 콘텐츠 일관성 전반에 걸쳐 미세한 UX 문제 진단을 요구하는 8가지 과제를 포함합니다. 주류 MLLM에 대한 광범위한 평가는 이들이 여전히 UI 기반 추론 능력에서 근본적인 한계를 가지고 있음을 보여줍니다. 이러한 결과는 이 분야의 추가적인 발전을 필요로 합니다. 이러한 격차를 해소하기 위해, 저희는 Qwen3-VL-4B-Thinking 기본 모델을 기반으로 하며 강화 학습을 통해 개선된 MLLM인 UI-UX를 제안합니다. UI-UX는 추론 과정에서 시각적 이해와 논리적 추론의 균형을 동적으로 조절하는 보상 라우팅 메커니즘과 불필요하거나 부족한 추론 단계를 억제하는 비대칭 전환 보상을 포함하는 두 가지 주요 혁신을 갖추고 있습니다. 실험 결과, UI-UX는 UXBench에서 최첨단(SOTA) 성능을 달성했으며, 정확도가 0.7963으로 Claude-4.5-Sonnet의 0.6550을 능가하며 다양한 UI 작업에 대한 강력한 일반화 성능을 보이고 낮은 추론 지연 시간을 유지합니다.

User experience (UX) centered on usability, perceived consistency, and functional clarity is fundamental to real-world user interfaces (UI). The application of multimodal large language models (MLLMs) in the field of user interfaces is evolving rapidly, such as visual element grounding, graphical user interface (GUI) agents, and design-to-code generation. However, research efforts on evaluating UX based on UI screenshots are still immature. To address this, we propose UXBench, a novel multimodal benchmark consisting of 2,000 VQA data samples designed to assess MLLMs' ability to perform UI-based reasoning. UXBench includes 8 tasks based on real-world UI screenshots that require fine-grained diagnosis of UX issues across layout relationships, visual hierarchy, and content consistency. Our extensive evaluation of mainstream MLLMs shows that they remain fundamentally limited in their capacity for UI-based reasoning. The results underscore the need for further advancements in this area. To bridge this gap, we propose UI-UX, an MLLM based on Qwen3-VL-4B-Thinking foundation model and enhanced via reinforcement learning with two key innovations: a reward routing mechanism that dynamically balances perceptual understanding and logical reasoning during inference, and an asymmetric transition reward that suppresses redundant or insufficient reasoning steps. Experiments demonstrate that UI-UX achieves state-of-the-art (SOTA) performance on UXBench, attaining an accuracy of 0.7963 -- surpassing Claude-4.5-Sonnet's 0.6550 -- while exhibiting strong generalization across diverse UI tasks and maintaining low inference latency.