RustMizan: Rust 취약점 분석을 위한 컴파일 가능하며 오염에 대한 인식을 갖춘 벤치마킹 프레임워크

RustMizan: A Compilable, Contamination-Aware Benchmarking Framework for Rust Vulnerabilities

대규모 언어 모델(LLM) 에이전트는 점점 더 많이 취약점 분석에 활용되고 있지만, 기존의 벤치마크는 이러한 발전에 따라가지 못하고 있습니다. 일반적으로 작은 크기의 컴파일 불가능한 코드 조각에 의존하며, 이분 분류 (취약하거나 그렇지 않음)에 초점을 맞추고, 공개적으로 배포된 데이터 세트가 모델 학습 코퍼스에 포함될 수 있다는 위험을 고려하지 않습니다. 우리는 이러한 문제점들을 해결하기 위해 Rust 취약점 분석을 위한 벤치마킹 프레임워크인 RustMizan을 소개합니다. RustMizan은 crate, 파일 및 함수 레벨에서 컴파일 가능한 코드 변형을 포함하며, 이분 분류 기반 취약점 탐지, CWE 분류, 그리고 함수 및 라인 레벨에서의 위치 정보 제공을 위한 어노테이션을 갖습니다. 쌍을 이루는 뮤테이션 프레임워크를 통해 의미론적으로 동일한 코드 변형을 생성하여 오염 테스트 및 견고성 검증을 수행합니다. 명령줄 접근이 가능한 에이전트 형태로 구성된 네 가지 최첨단 모델에 대한 실험 결과, 이분 분류 정확도는 56-65% 범위에 속하지만, 라인 레벨의 F1 점수는 약 20%로 낮으며, 적대적 공격은 라인 F1 점수를 약 27% 감소시킵니다.

LLM agents are increasingly applied to vulnerability analysis, but existing benchmarks have not kept pace. They typically rely on small non-compilable snippets, focus on binary classification (vulnerable or not), and do not account for the risk that publicly-released datasets are part of model training corpora. We introduce RustMizan, a benchmarking framework for Rust vulnerability analysis that addresses these gaps. RustMizan contains compilable code variants at the crate, file, and function levels, with annotations for binary vulnerability detection, CWE classification, and function- and line-level localization. A paired mutation framework produces semantics-preserving code mutants for contamination testing and robustness probing. Across four frontier models in an agentic setup with command-line access, binary classification sits in the 56-65% range, but line localization F1 stays near 20%, and adversarial cues drop line F1 by about 27%.