스마트 계약 변환 및 품질 평가를 위한 종단간 에이전트 파이프라인

An end-to-end agentic pipeline for smart contract translation and quality evaluation

우리는 자연어 명세로부터 LLM이 생성한 스마트 계약을 체계적으로 평가하기 위한 종단간 프레임워크를 제시한다. 이 시스템은 계약 텍스트를 구조화된 스키마로 파싱하고, 솔리디티(Solidity) 코드를 생성하며, 컴파일 및 보안 검사를 통해 자동화된 품질 평가를 수행한다. 반복적인 개선 과정을 수행하는 CrewAI 스타일의 에이전트 팀을 활용하여, 이 파이프라인은 완전한 출처(provenance) 메타데이터를 갖춘 구조화된 산출물을 생성한다. 품질은 기능적 완전성, 변수 충실도, 상태 머신 정확성, 비즈니스 로직 충실도, 코드 품질을 포함한 다섯 가지 차원에서 측정되어 종합 점수로 집계된다. 이 프레임워크는 기준(ground-truth) 구현체와의 비교 평가를 지원하여 정렬 수준을 정량화하고, 로직 누락 및 상태 전이 불일치와 같은 체계적인 오류 유형을 식별한다. 이는 스마트 계약 합성 품질에 대한 실증적 연구를 위한 재현 가능한 벤치마크를 제공하며, 향후 형식 검증 및 규정 준수 확인으로의 확장을 지원한다.

We present an end-to-end framework for systematic evaluation of LLM-generated smart contracts from natural-language specifications. The system parses contractual text into structured schemas, generates Solidity code, and performs automated quality assessment through compilation and security checks. Using CrewAI-style agent teams with iterative refinement, the pipeline produces structured artifacts with full provenance metadata. Quality is measured across five dimensions, including functional completeness, variable fidelity, state-machine correctness, business-logic fidelity, and code quality aggregated into composite scores. The framework supports paired evaluation against ground-truth implementations, quantifying alignment and identifying systematic error modes such as logic omissions and state transition inconsistencies. This provides a reproducible benchmark for empirical research on smart contract synthesis quality and supports extensions to formal verification and compliance checking.