Mastermind: 전략 기반 학습을 통한 저장소 규모의 취약점 재현

Mastermind: Strategy-grounded Learning for Repository-Scale Vulnerability Reproduction

저장소 수준의 취약점 재현은 매우 어려운 소프트웨어 공학(SE) 과제입니다. 에이전트는 코드베이스를 검사하고, 취약한 경로에 도달하는 입력 구문을 추론하며, 개념 증명(PoC)을 구성하고, 패치된 빌드에서 충돌이 사라지는지 확인해야 합니다. 최근의 LLM 에이전트는 올바른 접근 방식을 사용할 경우 이러한 단계를 수행할 수 있지만, 여전히 잘못된 전략을 선택하여 실패합니다. 본 논문에서는 전체 동작 경로가 아닌 전략 자체가 이러한 SE 에이전트에 대한 적절한 학습 단위라고 주장합니다. 전략은 최적화하기에 충분히 간결하고, 실행을 안내하기에 충분히 구체적이며, 시도 간에 저장하고 재사용할 수 있을 만큼 안정적입니다. 우리는 Mastermind라는 이중 루프 프레임워크를 제시합니다. 이 프레임워크는 전이 가능한 전략 학습과 작업별 경험을 분리합니다. 훈련 가능한 플래너는 SFT(Supervised Fine-Tuning)와 마일스톤 기반 GRPO(Generalized Reinforcement Proximal Policy Optimization)를 통해 재사용 가능한 취약점 재현 전략을 학습하는 반면, 경험 루프는 후속 시도를 안내하는 작업별 전략 기록을 유지합니다. 플래너는 실행기와 독립적으로 훈련되므로, 전략 학습은 액션 생성 능력을 수정하지 않고도 여러 개의 고정된 실행기의 성능을 향상시킬 수 있습니다. 우리는 Mastermind를 CyberGym에서 260개의 훈련 작업과 200개의 보류 평가 작업을 사용하여 평가했습니다. GPT-5.5를 고정된 실행기로 사용할 때, Mastermind는 84.5%의 성공률을 달성하여 오픈북 PoC 컨텍스트(60.0%), Best-of-8 샘플링(63.0%) 및 반복적 개선(77.0%)보다 뛰어난 성능을 보였습니다. 동일한 플래너는 GPT-5.4 mini와 GLM~5.1의 성공률을 각각 45.0%에서 60.0%로, 58.5%에서 71.0%로 향상시켰습니다. 이러한 결과는 고수준 전략 학습이 저장소 규모의 SE 에이전트 성능을 향상시키는 효과적이고 전이 가능한 메커니즘임을 보여줍니다.

Repository-level vulnerability reproduction is a demanding software engineering (SE) task: an agent must inspect a codebase, infer the input grammar that reaches a vulnerable path, construct a proof-of-conceptv(PoC), and verify that the crash disappears on the patched build. Recent LLM agents can often execute these steps when the approach is correct, yet they still fail by choosing the wrong strategy. This paper argues that strategy, rather than the full action trajectory, is the right learning unit for such SE agents: it is compact enough to optimize, concrete enough to guide execution, and stable enough to store and reuse across attempts. We present Mastermind, a dual-loop framework that separates transferable strategy learning from task-specific experience. A trainable planner learns reusable vulnerability-reproduction strategies through SFT and milestone-based GRPO, while an experience loop maintains task-local strategy records that guide subsequent attempts. The planner is trained independently of the executor, allowing strategy learning to improve multiple frozen executors without modifying their action-generation capability. We evaluate Mastermind on CyberGym using 260 training tasks and 200 held-out evaluation tasks. With GPT-5.5 as the frozen executor, Mastermind achieves an 84.5% pass rate, outperforming open-book PoC context (60.0%), Best-of-8 sampling (63.0%), and iterative improvement (77.0%). The same planner also improves GPT-5.4 mini and GLM~5.1 from 45.0% and 58.5% to 60.0% and 71.0%. These results demonstrate that learning high-level strategies is an effective and transferable mechanism for improving repository-scale SE agents.