벡터벤치: 모델이 SVG 코드를 정밀하게 수정할 수 있을까?

Vector-Bench: Can Models Surgically Edit SVG Code?

명령 기반 벡터 편집은 두 가지 능력을 필요로 합니다. 요청된 변경을 수행하고 나머지 부분은 그대로 유지하는 것입니다. 출력물이 래스터 이미지로만 평가될 때 후자는 간과하기 쉽습니다. 본 논문에서는 40개의 SVG 수정 작업으로 구성된 작고 어려운 벤치마크인 '벡터벤치'를 소개합니다. 각 작업은 손상된 SVG 프로그램, 작성자가 작성한 시각적 지침, 숨겨진 대상 프로그램, 평균 5.05개의 주석이 달린 수정 사항, 그리고 평균 60.55개의 보호된 객체로 구성됩니다. 지침은 요소 식별자, 좌표, 색상 코드 또는 경로 데이터를 노출하지 않고 보이는 결함을 설명합니다. 우리는 결정적인 이진 사양 기반 보상 체계를 정의했습니다. 요청된 수정 사항은 속성 인지적 허용 오차를 사용하며, 요청되지 않은 렌더링 또는 응용 프로그램 관련 구조는 의미적으로 변경되지 않아야 하며 결과는 유효한 SVG여야 합니다. 표준 대상과의 동일성과 더 엄격한 원본 충실성은 진단 기준으로 유지됩니다. 유효성 검사를 거친 수정 진행 상황, 거의 완전한 계층 구조, 그리고 유효한 출력물의 의도치 않은 변경률(UCR)은 부분적인 결과에 대한 설명을 제공합니다. 우리는 34개의 모델 엔드포인트(25개는 오픈 웨이트로 공개, 5개는 저렴한 제어용, 4개는 최첨단 폐쇄형 엔드포인트)를 1360개의 요청에 대해 평가했습니다. 가장 성능이 좋은 엔드포인트도 전체 사양 성공률은 15.0%에 불과했지만, 평균 수정 진행률은 43.7%였습니다. 이는 겉으로 보이는 수정 진행률과 사양을 준수하는 편집 사이에는 여전히 상당한 차이가 있음을 보여줍니다. 모든 프롬프트, 출력 결과, 점수 계산 코드, 비용 및 각 작업별 보고서는 공개됩니다.

Instruction-based vector editing requires two capabilities: making a requested change and leaving everything else alone. The second is easy to miss when an output is judged only as a raster image. We introduce Vector-Bench, a compact, difficult benchmark of 40 SVG repair tasks. Each task pairs a corrupted SVG program with an author-written visual instruction, a hidden target program, 5.05 annotated repairs on average, and an average of 60.55 protected objects. Instructions describe visible defects without exposing element identifiers, coordinates, color codes, or path data. We define a deterministic binary specification reward: requested repairs use attribute-aware perceptual tolerances, while unrequested rendering- or application-relevant structure must remain semantically unchanged and the result must be a valid SVG. Canonical target equality and stricter source fidelity are retained as diagnostics. Validity-gated repair progress, a near-complete tier, and valid-output Unintended Change Rate (UCR) explain partial outcomes. We evaluate 34 model endpoints (25 listed as open-weight, 5 inexpensive controls, and 4 frontier closed endpoints) over 1360 requests. The strongest endpoint reaches only 15.0% full specification success, despite 43.7% mean repair progress, showing that apparent repair progress and specification-faithful editing remain substantially different. All prompts, outputs, scoring code, costs, and per-task reports are released.