이미지 기반 반복 개선을 통한 프론트엔드 코드 생성

Vision-Guided Iterative Refinement for Frontend Code Generation

대규모 언어 모델을 이용한 코드 생성은 종종 다단계의 인간 개입을 통한 개선 과정을 거치는데, 이는 효과적이지만 비용이 많이 듭니다. 특히 프론트엔드 웹 개발과 같이 결과물의 시각적 품질이 중요한 분야에서 더욱 그렇습니다. 본 연구에서는 비전-언어 모델을 활용하여 생성된 코드의 반복적인 개선을 유도하는 완전 자동화된 시스템을 제안합니다. 이 시스템은 렌더링된 웹페이지에 대한 구조화된 피드백을 제공하여 코드 생성 과정을 안내하는 시각적 평가 모델(critic)을 사용합니다. 실제 웹 개발 시나리오 데이터를 사용하여 실험한 결과, 제안하는 방법은 세 번의 개선 과정을 거쳐 솔루션 품질을 꾸준히 향상시켰으며, 성능을 최대 17.8%까지 향상시켰습니다. 또한, LoRA를 사용한 파라미터 효율적인 미세 조정(fine-tuning)을 통해, 시각적 평가 모델이 제공하는 개선 효과를 코드 생성 LLM에 통합할 수 있는지 조사했습니다. 미세 조정은 시각적 평가 모델을 활용한 최적의 솔루션에서 얻는 이점의 25%를 달성하면서도 토큰 수의 큰 증가 없이 이를 가능하게 했습니다. 본 연구의 결과는 자동화된 VLM 기반의 프론트엔드 코드 생성 평가가 단일 LLM 추론 과정만으로는 얻을 수 없는 훨씬 더 높은 품질의 솔루션을 제공하며, 웹 개발과 관련된 복잡한 시각적 결과물을 얻기 위해서는 반복적인 개선 과정이 중요하다는 것을 보여줍니다.

Code generation with large language models often relies on multi-stage human-in-the-loop refinement, which is effective but very costly - particularly in domains such as frontend web development where the solution quality depends on rendered visual output. We present a fully automated critic-in-the-loop framework in which a vision-language model serves as a visual critic that provides structured feedback on rendered webpages to guide iterative refinement of generated code. Across real-world user requests from the WebDev Arena dataset, this approach yields consistent improvements in solution quality, achieving up to 17.8% increase in performance over three refinement cycles. Next, we investigate parameter-efficient fine-tuning using LoRA to understand whether the improvements provided by the critic can be internalized by the code-generating LLM. Fine-tuning achieves 25% of the gains from the best critic-in-the-loop solution without a significant increase in token counts. Our findings indicate that automated, VLM-based critique of frontend code generation leads to significantly higher quality solutions than can be achieved through a single LLM inference pass, and highlight the importance of iterative refinement for the complex visual outputs associated with web development.