적대적인 해커-수정 루프를 사용한 강화제 벤치마크 평가

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

현재의 에이전트 벤치마크는 일반적으로 수작업으로 작성되며 취약하여, 단순히 결과 검증기로 점수를 매기므로 '보상 해킹(reward hacking)'에 노출될 위험이 있습니다. 본 연구에서는 5개의 터미널 에이전트 벤치마크의 총 1,968개 작업을 분석한 결과, 최첨단 모델은 작업 설명만으로도 323개(16%)의 작업에서 해킹이 가능함을 확인했습니다. 이러한 문제는 리더보드 순위 및 강화 학습 훈련 신호에 부정적인 영향을 미치지만, 현재까지는 대부분 수동적이고 반응적인 대응 방식이 사용되고 있습니다. 본 연구에서는 '해커-수정 루프(hacker-fixer loop)'라는 새로운 방법을 제안합니다. 이 방법은 각 작업별로 수동 패치를 수행하지 않고도 공격에 강한 검증기를 구축할 수 있도록 설계되었습니다. 이 루프는 세 가지 LLM 에이전트가 번갈아 가며 작동합니다. '해커' 에이전트는 작업을 실제로 해결하지 않고 검증기를 통과하려고 시도하고, '수정자' 에이전트는 발견된 모든 공격을 막기 위해 검증기를 수정하며, '솔버' 에이전트는 수정된 검증기가 여전히 올바른 솔루션을 허용하는지 확인합니다. 이 루프는 반복적으로 실행되며, 각 수정은 검증기가 제공하는 보상을 변화시켜 새로운 공격 가능성을 드러냅니다. 또한, 검증기 접근 권한을 부여하고, 수정을 다른 작업에 적용할 수 있도록 하여 더 광범위한 공격 가능성을 탐색합니다. KernelBench에서 이 루프는 공개적으로 보고된 공격 모음을 사용하여 공격 성공률을 62%에서 0%로 낮추었습니다. 또한, 비교적 약한 에이전트가 훨씬 강력한 해커 에이전트를 방어할 수 있음을 확인했습니다. 예를 들어, Gemini 3 Flash의 루프는 더 강력한 Gemini 3.1 Pro와 Claude Opus 4.7의 공격 성공률을 KernelBench에서 각각 76%와 61%에서 0%로, Terminal Bench의 77개 작업에서 39%에서 17%로 낮추었습니다. 본 연구에서는 'Terminal Wrench(323개의 해킹 가능한 환경, 3,632개의 공격 경로)'를 공개하여 현재 공격 취약점을 파악하고, 수정된 검증기, 루프에서 발견된 공격, 그리고 구현 방식을 제공함으로써 향후 연구의 기반을 마련하고자 합니다.

Agent benchmarks score submissions with outcome verifiers that are typically hand-written and brittle, leaving them open to reward hacking. We audit 1,968 tasks across five terminal-agent benchmarks and find 323 (16%) hackable by frontier models given only the task description. This corrupts both leaderboard rankings and RL training signal, yet the standard response is manual and reactive. We introduce the hacker-fixer loop, a method for building exploit-resistant verifiers without per-task manual patching. The loop alternates three LLM agents: a hacker tries to pass the verifier without solving the task, a fixer patches the verifier to reject each discovered exploit, and a solver confirms the patched verifier still admits legitimate solutions. The loop iterates: each patch reshapes what the verifier rewards, surfacing the next exploit. We further add verifier access, and let patches transfer across tasks, to broaden the exploits the loop discovers. On KernelBench, the loop drives the attack success rate from 62% to 0% on a held-out corpus of publicly reported exploits. We also find that weaker agents in the loop can defend against much stronger hackers: Gemini 3 Flash's loop drives the stronger Gemini 3.1 Pro and Claude Opus 4.7's attack success rate from 76% and 61% to 0% on KernelBench, and Gemini 3.1 Pro's from 39% to 17% on Terminal Bench across 77 tasks. We release Terminal Wrench (323 hackable environments, 3,632 hack trajectories) as a snapshot of the current attack surface, our patched verifiers, the exploits the loop discovered, and our implementation as a basis for future work.