LAUDE: LLM 기반 하드웨어 설계 유닛 테스트 자동 생성 및 디버깅 프레임워크

LAUDE: LLM-Assisted Unit Test Generation and Debugging of Hardware DEsigns

유닛 테스트는 하드웨어 설계 라이프사이클에서 구성 요소 설계 모듈이 기능적으로 정확하고 시스템 레벨에서 통합되기 전에 사양을 준수하는지 확인하는 데 매우 중요합니다. 따라서 다양한 설계 기능을 대상으로 하는 유닛 테스트를 개발하려면 설계 기능에 대한 깊이 있는 이해와 창의성이 필요합니다. 하나 이상의 유닛 테스트에서 설계 오류가 발견되면, 디버깅 엔지니어는 설계 정확성을 보장하기 위해 오류를 진단, 위치 추적 및 디버깅해야 하며, 이는 종종 고되고 집중적인 과정입니다. 본 연구에서는 LAUDE라는 통일된 유닛 테스트 생성 및 디버깅 프레임워크를 소개합니다. LAUDE는 설계 소스 코드의 의미론적 이해와 기초 대규모 언어 모델(LLM)의 Chain-of-Thought (CoT) 추론 능력을 결합합니다. LAUDE는 프롬프트 엔지니어링과 설계 실행 정보를 통합하여 유닛 테스트 생성 정확도와 코드 디버깅 가능성을 향상시킵니다. 우리는 LAUDE를 폐쇄형 및 오픈 소스 LLM과 함께 VerilogEval 데이터셋에서 파생된 많은 수의 오류가 있는 하드웨어 설계 코드에 적용했습니다. 그 결과, 생성된 유닛 테스트는 조합형 및 순차형 설계에서 각각 최대 100% 및 93%의 오류를 감지하고, 최대 93% 및 84%의 조합형 및 순차형 설계를 디버깅했습니다.

Unit tests are critical in the hardware design lifecycle to ensure that component design modules are functionally correct and conform to the specification before they are integrated at the system level. Thus developing unit tests targeting various design features requires deep understanding of the design functionality and creativity. When one or more unit tests expose a design failure, the debugging engineer needs to diagnose, localize, and debug the failure to ensure design correctness, which is often a painstaking and intense process. In this work, we introduce LAUDE, a unified unit-test generation and debugging framework for hardware designs that cross-pollinates the semantic understanding of the design source code with the Chain-of-Thought (CoT) reasoning capabilities of foundational Large-Language Models (LLMs). LAUDE integrates prompt engineering and design execution information to enhance its unit test generation accuracy and code debuggability. We apply LAUDE with closed- and open-source LLMs to a large corpus of buggy hardware design codes derived from the VerilogEval dataset, where generated unit tests detected bugs in up to 100% and 93% of combinational and sequential designs and debugged up to 93% and 84% of combinational and sequential designs, respectively.