QiMeng-CodeV-SVA: RTL 기반 양방향 데이터 합성 기법을 활용한 하드웨어 검증용 특화 LLM 학습

QiMeng-CodeV-SVA: Training Specialized LLMs for Hardware Assertion Generation via RTL-Grounded Bidirectional Data Synthesis

시스템베릴로그 어설션(SVA)은 하드웨어 검증에 필수적입니다. 최근 연구에서는 범용 LLM을 활용하여 자연어 설명을 SVA로 변환하는(NL2SVA) 시도가 있었지만, 데이터 부족으로 인해 성능이 좋지 않았습니다. 본 연구에서는 고품질의 실제 SVA 데이터 부족과 NL-SVA의 의미적 동등성을 판단할 수 있는 신뢰성 있는 방법 부족이라는 두 가지 문제점을 해결하기 위한 데이터 합성 프레임워크를 제안합니다. 먼저, 대규모 오픈소스 RTL을 활용하여 LLM이 실제 SVA를 생성하도록 유도하고, 두 번째로, 양방향 번역을 데이터 선택 방법으로 활용합니다. 합성된 데이터를 사용하여 SVA 생성 모델인 CodeV-SVA를 학습했습니다. 특히, CodeV-SVA-14B는 NL2SVA-Human 데이터셋에서 75.8%, NL2SVA-Machine 데이터셋에서 84.0%의 Func.@1 점수를 달성하여, GPT-5 및 DeepSeek-R1과 같은 고급 LLM의 성능에 필적하거나 능가하는 결과를 보였습니다.

SystemVerilog Assertions (SVAs) are crucial for hardware verification. Recent studies leverage general-purpose LLMs to translate natural language properties to SVAs (NL2SVA), but they perform poorly due to limited data. We propose a data synthesis framework to tackle two challenges: the scarcity of high-quality real-world SVA corpora and the lack of reliable methods to determine NL-SVA semantic equivalence. For the former, large-scale open-source RTLs are used to guide LLMs to generate real-world SVAs; for the latter, bidirectional translation serves as a data selection method. With the synthesized data, we train CodeV-SVA, a series of SVA generation models. Notably, CodeV-SVA-14B achieves 75.8% on NL2SVA-Human and 84.0% on NL2SVA-Machine in Func.@1, matching or exceeding advanced LLMs like GPT-5 and DeepSeek-R1.