AutoVSR: 회로 다이어그램으로부터 기호 표현을 자동으로 생성하는 시각-기호 추론 시스템

AutoVSR: Automatic Visual-to-Symbolic Reasoning for Symbolic Expression Generation from Circuit Schematic

기호 표현은 회로의 동작을 효과적으로 특성화하고 예측할 수 있지만, 회로 다이어그램에서 직접 이러한 표현을 도출하는 것은 어려운 과제입니다. 이 과정에는 이미지로부터 회로 구조를 정확하게 시각-기호 변환해야 하며, 또한 여러 단계를 거치는 기호 유도가 필요합니다. 이러한 모든 단계는 엄격한 정확성 요구 사항을 가집니다. 본 연구에서는 Vision Language Models (VLMs)를 활용하여 회로 표현식을 자동으로 생성하는 AutoVSR이라는 프레임워크를 제안합니다. AutoVSR은 회로 다이어그램을 실행 가능한 중간 표현(Executable IR)으로 재구성하고, 기호 추론을 위해 기호 솔버를 사용하여 기호 표현식 생성의 정확성을 크게 향상시킵니다. AutoVSR은 두 가지 주요 혁신을 도입합니다. 첫째, 구성 요소 규칙 검색 및 검증 기반 피드백에 의해 안내되는 IR 구축 방법이고, 둘째, 안정적인 다단계 유도를 위해 기호 도구 라이브러리를 갖춘 계획 에이전트로 구현된 기호 솔버입니다. AutoVSR은 기존의 엔드-투-엔드 VLM 접근 방식 및 특수 방법에 비해 주된 기호 표현 생성 작업에서 각각 30.01~59.45% 및 41.96~51.84%의 정확도 향상을 달성했습니다. 또한 AutoVSR은 폐쇄형 최첨단 VLM보다 추론 비용 및 계산 효율성이 뛰어납니다. 코드: https://github.com/LongfeiLi1/AutoVSR

Symbolic expressions can effectively characterize and predict circuit behavior, but deriving them directly from circuit schematics is challenging. This process requires accurate visual-to-symbolic construction of circuit structure from images and correct multi-step symbolic derivation, both of which impose strict correctness requirements. This work proposes AutoVSR, an automated framework for visual-to-symbolic generation of circuit expressions using Vision Language Models (VLMs). By reconstructing circuit diagrams into an executable intermediate representation (Executable IR) and leveraging a symbolic solver for reasoning, AutoVSR significantly improves the accuracy of symbolic expression generation. AutoVSR introduces two key innovations: an IR construction method guided by component rule retrieval and verification-based feedback, and a symbolic solver implemented as a planning agent equipped with a symbolic tool library for reliable multi-step derivation. Compared with end-to-end VLM approaches and specialized methods on the main symbolic expression generation task, AutoVSR achieves accuracy improvements of 30.01--59.45% and 41.96--51.84%, respectively. Moreover, AutoVSR surpasses closed-source state-of-the-art VLMs in inference cost and computational efficiency. Code is available at https://github.com/LongfeiLi1/AutoVSR.