HTMLCure: 브라우저 경험을 활용한 상태 기반 인터랙티브 HTML 자동 수정 프레임워크

HTMLCure: Turning Browser Experience into State Guided Repair for Interactive HTML

최근의 LLM들은 완전한 HTML 페이지를 생성할 수 있지만, 그 중 많은 페이지가 표면적으로만 올바르며 스크롤, 호버, 클릭, 리사이즈 또는 게임 플레이 시 오류를 발생시킵니다. 스크린샷 기반 평가로는 이러한 오류를 감지하기 어렵고, 필터링 과정에서 수정 가능한 많은 페이지들이 버려집니다. 본 연구에서는 HTMLCure라는 브라우저 경험 프레임워크를 소개합니다. 이 프레임워크는 시스템이 HTML과 상호 작용한 후 해당 내용을 평가하며, 다양한 뷰포트와 상호 작용 상태에서 페이지를 실행하고 결정적인 브라우저 증거를 기록합니다. 또한 VLM(Visual Language Model)에게 실행 경로에서 추출된 핵심 프레임을 제공하여 개별 스크린샷만 사용하는 것보다 더 정확한 정보를 전달합니다. 동일한 상태 신호를 사용하여 폐루프 수정 엔진을 구동하며, HTMLCure는 현재 페이지의 문제점을 진단하고, 특정 상태에 맞는 수정 방법을 선택하여 각 후보를 실행하고, 품질이 검증된 페이지를 SFT(Supervised Fine-Tuning) 데이터로 사용합니다. 97K개의 프롬프트 코퍼스를 사용하여, HTMLCure는 활용 가능한 초기 데이터를 63703개의 품질 검증된 후보 페이지 풀로 확장했습니다. 이 중 40K개의 페이지를 최종적으로 개선된 SFT 데이터셋으로 구성했습니다. 동일한 기반 모델과 학습 방법을 사용했을 때, HTMLCure-27B-Refined는 HTMLBench-400에서 50.6의 성능을 보였으며, 결정적인 테스트 케이스 통과율은 45.2%로 Kimi-K2.6 및 GPT-5.4와 같은 강력한 모델들과 유사한 수준입니다. 공개된 MiniAppBench 검증 데이터셋에서는 평균 81.2점을 달성하여 원본 27B SFT 모델보다 15.3점이 향상되었으며, 강력한 참조 시스템에 근접하는 성능을 보였습니다.

LLMs can now produce full HTML pages, but many of those pages are only superficially correct: they render once, then fail under scroll, hover, click, resize, or gameplay. Evaluation from screenshots can miss these failures, and filtering discards many pages that are still repairable. We introduce HTMLCure, a browser experience framework that evaluates HTML after the system has interacted with it. The evaluator executes the page across viewports and interaction states, records deterministic browser evidence, and gives the VLM curated keyframes from the executed trajectory rather than isolated screenshots. The same state signal drives a closed loop repair engine: HTMLCure diagnoses the current page, chooses a state specific repair family, runs each candidate again, and exports quality cleared pages for SFT. On a 97K prompt corpus, this expands the directly usable seed into a candidate pool of 63703 quality cleared pages, from which we construct the final refined SFT set of 40K pages. Under the same backbone and training recipe, HTMLCure-27B-Refined reaches 50.6 on HTMLBench-400 with 45.2% deterministic test case pass, placing it in the same performance band as strong reference rows such as Kimi-K2.6 and GPT-5.4. On the released MiniAppBench validation split, it reaches 81.2 average, improving raw 27B SFT by 15.3 points and approaching the level of strong reference systems.