CREBench: 암호화된 바이너리 역공학 분야에서 대규모 언어 모델 성능 평가

CREBench: Evaluating Large Language Models in Cryptographic Binary Reverse Engineering

역공학(RE)은 소프트웨어 보안, 특히 민감한 데이터를 처리하고 취약점에 노출되기 쉬운 암호화 프로그램에 있어 매우 중요합니다. 이는 취약점 발견 및 악성코드 분석과 같은 핵심적인 작업을 지원합니다. 그 중요성에도 불구하고 역공학은 여전히 노동 집약적이며 상당한 전문 지식을 필요로 하므로, 대규모 언어 모델(LLM)은 이 프로세스를 자동화할 수 있는 잠재적인 솔루션입니다. 그러나 LLM의 역공학 능력은 체계적으로 과소평가되어 왔습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 LLM의 암호화 바이너리 역공학 능력을 연구하고, 48개의 표준 암호화 알고리즘, 3가지 보안 취약 암호 키 사용 시나리오, 그리고 3가지 난이도 수준으로 구성된 432개의 문제로 이루어진 벤치마크인 **CREBench**를 소개합니다. 각 문제는 Capture-the-Flag (CTF) 역공학 문제의 형식을 따르며, 모델이 기본 암호화 로직을 분석하고 올바른 입력을 복구하도록 요구합니다. 알고리즘 식별부터 올바른 플래그 복구까지 4가지 하위 작업으로 구성된 평가 프레임워크를 설계했습니다. 우리는 CREBench를 사용하여 8개의 최첨단 LLM을 평가했습니다. 가장 뛰어난 성능을 보인 모델인 GPT-5.4는 100점 만점에 64.03점을 달성했으며, 59%의 문제에서 플래그를 성공적으로 복구했습니다. 또한, 92.19점이라는 높은 수준의 인간 전문가 기준점을 설정하여, 인간이 여전히 암호화 역공학 작업에서 우위를 점하고 있음을 보여줍니다. 본 연구의 코드와 데이터셋은 https://github.com/wangyu-ovo/CREBench 에서 확인할 수 있습니다.

Reverse engineering (RE) is central to software security, particularly for cryptographic programs that handle sensitive data and are highly prone to vulnerabilities. It supports critical tasks such as vulnerability discovery and malware analysis. Despite its importance, RE remains labor-intensive and requires substantial expertise, making large language models (LLMs) a potential solution for automating the process. However, their capabilities for RE remain systematically underexplored. To address this gap, we study the cryptographic binary RE capabilities of LLMs and introduce CREBench, a benchmark comprising 432 challenges built from 48 standard cryptographic algorithms, 3 insecure crypto key usage scenarios, and 3 difficulty levels. Each challenge follows a Capture-the-Flag (CTF) RE challenge, requiring the model to analyze the underlying cryptographic logic and recover the correct input. We design an evaluation framework comprising four sub-tasks, from algorithm identification to correct flag recovery. We evaluate eight frontier LLMs on CREBench. GPT-5.4, the best-performing model, achieves 64.03 out of 100 and recovers the flag in 59\% of challenges. We also establish a strong human expert baseline of 92.19 points, showing that humans maintain an advantage in cryptographic RE tasks. Our code and dataset are available at https://github.com/wangyu-ovo/CREBench.