ReDesign: 에이전트 기반 분해를 통한 이미지에서 편집 가능한 디자인 구조 복원

ReDesign: Recovering Editable Design Structures from Images via Agentic Decomposition

래스터 이미지를 기반으로 편집 가능한 디자인 파일을 복원하는 것은 현대적인 디자인 워크플로우에서 흔히 발생하는 문제이며, 이는 편집 가능성이 여러 가지 속성(타이포그래피, 벡터 기하학, 색상, 그룹화 및 레이어 순서 등)을 복원하는 데 달려 있기 때문에 여전히 어려운 과제입니다. 본 논문에서는 ReDesign이라는 에이전트 기반 프레임워크를 제안합니다. ReDesign은 다양한 모달리티의 특수 도구를 선택하고 조합하여 편집 가능한 계층 구조를 구축합니다. 불완전한 도구 출력으로 인해 발생하는 장기간 의사 결정 프로세스의 신뢰성을 유지하기 위해, 각 확장 단계에서 섬세한 검증을 도입합니다. 이를 통해 로컬 수준에서의 수용, 삭제 또는 재시도 피드백을 제공하여 오류 축적을 방지하고 대규모 재실행을 회피합니다. ReDesign의 편집 가능성을 대규모로 평가하기 위해, 909개의 원본 Figma 파일과 14,796개의 제어된 편집 지침으로 구성된 Figma Edit RePlay 벤치마크를 소개합니다. 이 벤치마크와 표준 복원 메트릭에서 ReDesign은 뛰어난 시각적 충실도를 달성하는 동시에 레이아웃, 색상 및 텍스트 편집 측면에서 최고 수준의 편집 가능성을 제공하며, 기존의 계층 분해 기반 방법과 직렬 도구 사용 파이프라인보다 우수한 성능을 보입니다.

Recovering an editable design file from a raster image is a common and costly bottleneck in modern design workflows, yet remains challenging since editability depends on recovering multi-modal attributes, such as typography, vector geometry, colors, grouping, and layer ordering. We present ReDesign, an agentic framework that grows an editable layer hierarchy by selecting and composing specialized tools across modalities. To keep this long decision process reliable despite imperfect tool outputs, we introduce graceful verification at each expansion, which provides local accept, prune, or retry feedback that prevents error accumulation and avoids large scale reruns. To evaluate editability at scale, we introduce the Figma Edit Replay Benchmark, consisting of 909 raw Figma files and 14,796 controlled edit instructions that replay edits on reconstructed outputs. Across this benchmark and standard reconstruction metrics, ReDesign achieves strong visual fidelity while delivering the highest editability across layout, color, and text edits, outperforming layered decomposition baselines and serial tool use pipelines.