블랙박스 LLM 생성 소프트웨어에서 반복되는 취약점 추출

Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software

LLM은 점점 더 많은 코드를 생성하는 데 사용되고 있지만, 그 결과물은 종종 반복적인 패턴을 따르며 예측 가능한 취약점을 유발할 수 있습니다. 본 연구에서는 LLM 생성 소프트웨어에서 extit{취약점 지속성}을 연구하고, 두 가지 구성 요소를 가진 extit{특징-보안 테이블 (FSTab)}을 소개합니다. 첫째, FSTab은 블랙박스 공격을 가능하게 하며, 백엔드 코드나 소스 코드에 접근하지 않고도 관찰 가능한 프런트엔드 특징과 소스 LLM에 대한 지식을 바탕으로 백엔드의 잠재적인 취약점을 예측합니다. 둘째, FSTab은 모델 중심 평가를 제공하여 특정 모델이 프로그램, 의미를 유지하는 재구성, 그리고 애플리케이션 도메인 전반에 걸쳐 얼마나 일관되게 동일한 취약점을 재현하는지를 정량화합니다. 본 연구에서는 GPT-5.2, Claude-4.5 Opus, 그리고 Gemini-3 Pro를 포함한 최첨단 코드 LLM을 다양한 애플리케이션 도메인에서 평가했습니다. 그 결과, 도메인 간 전이가 강력함을 확인했으며, 심지어 대상 도메인이 학습에 포함되지 않은 경우에도 FSTab은 내부 도구(Claude-4.5 Opus)에서 최대 94%의 공격 성공률과 93%의 취약점 커버리지를 달성했습니다. 이러한 결과는 LLM 생성 소프트웨어에서 아직 탐구되지 않은 공격 경로를 드러내며 코드 생성의 보안 위험을 강조합니다. 본 연구의 코드는 다음 링크에서 확인할 수 있습니다: https://anonymous.4open.science/r/FSTab-024E.

LLMs are increasingly used for code generation, but their outputs often follow recurring templates that can induce predictable vulnerabilities. We study \emph{vulnerability persistence} in LLM-generated software and introduce \emph{Feature--Security Table (FSTab)} with two components. First, FSTab enables a black-box attack that predicts likely backend vulnerabilities from observable frontend features and knowledge of the source LLM, without access to backend code or source code. Second, FSTab provides a model-centric evaluation that quantifies how consistently a given model reproduces the same vulnerabilities across programs, semantics-preserving rephrasings, and application domains. We evaluate FSTab on state-of-the-art code LLMs, including GPT-5.2, Claude-4.5 Opus, and Gemini-3 Pro, across diverse application domains. Our results show strong cross-domain transfer: even when the target domain is excluded from training, FSTab achieves up to 94\% attack success and 93\% vulnerability coverage on Internal Tools (Claude-4.5 Opus). These findings expose an underexplored attack surface in LLM-generated software and highlight the security risks of code generation. Our code is available at: https://anonymous.4open.science/r/FSTab-024E.