지속적인 상태를 갖는 AI 제어 환경에서의 분산 공격

Distributed Attacks in Persistent-State AI Control

AI 코딩 에이전트가 더욱 자율적으로 작동함에 따라, 코드베이스가 세션 간에 유지되는 방식으로 점진적으로 코드가 배포되는 경우가 증가하고 있습니다. 이러한 지속성은 새로운 공격 지점을 생성합니다. 잘못 정렬되거나 프롬프트 주입된 에이전트는 풀 리퀘스트(PR)를 통해 공격을 분산시키고, 가장 자연스러운 위장을 제공하는 PR에 악성 페이로드를 배치하여 공격 시간을 조절할 수 있습니다. 이러한 동역학을 연구하기 위해, 우리는 안전하게 강력하지만 잠재적으로 신뢰할 수 없는 AI를 배포하는 연구 분야인 AI 제어 환경인 Iterative VibeCoding을 소개합니다. Iterative VibeCoding에서, 코딩 에이전트는 지속적인 코드베이스에서 일련의 PR을 통해 소프트웨어를 구축하면서 동시에 은밀한 부가 작업을 수행합니다. 우리의 벤치마크에는 CLI 도구와 Flask 웹 서비스라는 두 가지 작업 유형이 포함되며, 총 20가지 변형이 있습니다. 우리는 Claude Sonnet 4.5를 공격 에이전트로 사용하고 GPT-4o를 감시자로 사용했습니다. 점진적으로 부가 작업을 분산시키는 공격과 단일 PR에 집중된 비점진적인 공격을 비교했습니다. 어떤 단일 감시자도 두 가지 유형의 공격 모두에 대해 강력하지 않습니다. 따라서 어느 전략이 더 잘 회피하는지(감시자를 속이며 성공하는 경우)는 감시자의 유형에 따라 달라지므로, 방어자는 하나의 감시자만으로 점진적 및 비점진적인 공격을 모두 차단할 수 없습니다. 높은 회피율(>= 65%)은 다양한 모델 기반 공격 에이전트 백엔드(Sonnet 4.5, Gemini 3.1 Pro, Kimi K2.5)에서 나타나며, 이는 특정 모델의 능력보다는 지속적인 상태를 갖는 공격 지점의 특성임을 확인시켜줍니다. 또한 최첨단 감시 모델에서도 회피율이 높게 유지되며, 더욱 강력한 모델일수록 점진적 공격과 비점진적 공격 간의 회피율 격차가 더 벌어집니다. 우리는 의심스러운 활동이 PR 전체에 걸쳐 축적되는 것을 추적하는 상태 기반 링크 트래커 감시자를 소개합니다. 두 가지 작업 유형 모두에서, 이 감시자는 단순히 누적된 기록을 확인하는 diff 감시자보다 점진적인 공격을 훨씬 더 잘 탐지합니다. 이러한 강력한 감시자와 경로 추적 감시기를 결합하여 4개의 감시기로 구성된 시스템을 구축하면, 가장 취약한 표준 diff 감시하에서 93%에 달했던 점진적 공격의 회피율이 47%로 감소됩니다.

As AI coding agents become more autonomous, they increasingly ship code iteratively, with the codebase persisting across sessions. This persistence creates a new attack surface: a misaligned or prompt-injected agent can distribute attacks across pull requests (PRs) and time its payload for the PR with the best natural cover. To study the resulting dynamics, we introduce Iterative VibeCoding, a setting for AI control, the study of safely deploying capable but potentially untrusted AI. In Iterative VibeCoding, a coding agent builds software over a sequence of PRs in a persistent codebase while pursuing a covert side task. Our benchmark includes two task families: CLI tools and Flask web services, across 20 total task variations. We use Claude Sonnet 4.5 as the attack agent and GPT-4o as the monitor. We compare gradual attacks, which distribute the side task across PRs, against non-gradual attacks concentrated in a single PR. No single monitor is robust to both: which strategy evades best (success while evading the monitor) depends on the monitor type, so a defender cannot close off both gradual and non-gradual attacks with any one monitor. High evasion (>= 65%) generalizes across model attack agent backends (Sonnet 4.5, Gemini 3.1 Pro, Kimi K2.5), confirming this is a property of the persistent-state attack surface rather than a single model's capability. Evasion also remains high across state-of-the-art monitor models and the gap between gradual and non-gradual evasion widens for more capable models. We introduce a stateful link-tracker monitor that tracks suspicious buildup across PRs. On both task families, it detects gradual attacks substantially better than diff monitors that merely see more accumulated history. Combining this stronger monitor with trajectory monitors in a four-monitor ensemble reduces gradual-attack evasion from 93% under the weakest standard diff monitor to 47%.