MHRC-Bench: 다국어 하드웨어 저장소 레벨 코드 자동 완성 벤치마크

MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark

대규모 언어 모델(LLM)은 범용 프로그래밍 언어에서 코드 자동 완성 작업에서 뛰어난 성능을 보여주었습니다. 그러나 기존의 저장소 레벨 코드 자동 완성 벤치마크는 소프트웨어 코드에 거의만 집중하고 있으며, 하드웨어 기술 언어는 대부분 간과하고 있습니다. 본 연구에서는 다국어 하드웨어 코드 자동 완성에 특화된 최초의 저장소 레벨 벤치마크인 **MHRC-Bench**를 제시합니다. **MHRC-Bench**는 **MHRC-Bench-Train**과 **MHRC-Bench-Eval**로 구성되어 있으며, 세 가지 주요 하드웨어 설계 코딩 스타일을 포괄합니다. 각 자동 완성 목표는 구문 분석을 통해 파생된 코드 구조 레벨 및 하드웨어 관련 의미 레이블로 주석이 추가되어 있습니다. 우리는 **MHRC-Bench-Eval**을 사용하여 다양한 모델을 종합적으로 평가했습니다. 종합적인 평가 결과 및 분석은 **MHRC-Bench**의 유효성을 입증합니다.

Large language models (LLMs) have achieved strong performance on code completion tasks in general-purpose programming languages. However, existing repository-level code completion benchmarks focus almost exclusively on software code and largely overlook hardware description languages. In this work, we present \textbf{MHRC-Bench}, consisting of \textbf{MHRC-Bench-Train} and \textbf{MHRC-Bench-Eval}, the first benchmark designed for multilingual hardware code completion at the repository level. Our benchmark targets completion tasks and covers three major hardware design coding styles. Each completion target is annotated with code-structure-level and hardware-oriented semantic labels derived from concrete syntax tree analysis. We conduct a comprehensive evaluation of models on MHRC-Bench-Eval. Comprehensive evaluation results and analysis demonstrate the effectiveness of MHRC-Bench.