픽셀 너머의 패턴: 다중 모드 코드 생성에서의 패턴 완성 편향 측정

Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation

다중 모드 대규모 언어 모델(MLLM)은 웹페이지 스크린샷을 프론트엔드 코드로 변환하는 데 점점 더 많이 사용되고 있지만, 반복되는 UI 패턴은 시각적으로는 부정확하지만 패턴과 일치하는 결과물을 생성하도록 유도할 수 있습니다. 본 연구에서는 객관적인 스크린샷-코드 채우기 작업을 통해 반복되는 웹페이지 패턴이 MLLM의 정확성에 미치는 영향을 분석합니다. 우리는 최초의 시각적 패턴 완성 편향 벤치마크를 제시하며, 여기서는 반복되는 UI 패턴 내에서 특정 요소가 변경되면 모델이 스크린샷과 HTML 컨텍스트로부터 마스크된 너비 또는 글꼴 크기 값을 복구해야 합니다. Design2Code 데이터 세트에서 선별한 30개의 웹페이지를 기반으로, 표준 조건 및 노이즈 추가 조건 하에서 구조적 카드 패턴과 텍스트 스타일 패턴을 포함하는 총 1,440개의 스크린샷 데이터를 구축했습니다. 우리는 최첨단 MLLM 5개를 평가한 결과, 모든 모델이 반복되는 기본 패턴에 강하게 편향되어 있음을 확인했습니다. 카드 너비 변경 시 평균 편향률은 69.78%, 텍스트 글꼴 크기 변경 시 평균 편향률은 80.22%에 달하는 반면, 평균 정확도는 각각 21.17%와 7.89%에 불과했습니다. Codex-5.3이 가장 좋은 성능을 보였지만 카드 관련 작업에서 68.61%의 정확도를 기록했음에도 불구하고 텍스트 관련 작업에서는 13.89%로 하락했으며, Flash-3.0은 텍스트 관련 작업에서 96.11%의 높은 편향률을 보였습니다. 노이즈, 미세한 변경 및 경계 위치는 편향률을 더욱 증가시킵니다. 추가적인 분석 결과, 추론 노력 수준이 높을수록 편향이 낮아지는 경향이 있지만, 정성적 증거에 따르면 모델은 이상 요소를 식별하고도 패턴과 일치하는 답변으로 이를 무시할 수 있음을 보여줍니다. 본 연구는 다중 모드 코드 생성에서 구체적인 오류 유형을 밝혀내고 이러한 오류의 심각성이 시각적 중요성과 밀접하게 관련되어 있음을 보여줍니다.

Multimodal large language models (MLLMs) are increasingly used to translate webpage screenshots into front-end code, but repeated UI patterns may sway them toward visually incorrect yet pattern-consistent outputs. In this work, we test how repeated webpage patterns hurt MLLM accuracy on an objective screenshot-to-code fill-in-the-blank task. We introduce the first benchmark for visual pattern-completion bias, where one localized element in a repeated UI pattern is perturbed and the model must recover the masked width or font-size value from the screenshot and HTML context. Starting from 30 webpages curated from the Design2Code dataset, we build 1,440 evaluated screenshots spanning structural card and text-style patterns under standard and noise-overlaid conditions. We evaluate five frontier MLLMs and find that all are strongly biased toward the repeated baseline. Mean bias rate reaches 69.78% on card-width perturbations and 80.22% on text font-size perturbations, while mean accuracy is only 21.17% and 7.89%, respectively. Codex-5.3 performs best but still drops from 68.61% accuracy on cards to 13.89% on text, while Flash-3.0 reaches 96.11% bias on text. Noise, subtler perturbations, and boundary positions further increase bias rate. Reasoning analysis further shows that greater reasoning effort correlates with lower bias, yet qualitative evidence reveals that models can identify the anomalous element and still override it with the pattern-consistent answer. Our results identify a concrete failure mode in multimodal code generation and show that its severity is strongly associated with visual saliency