SNARE: 적응적 시나리오 합성을 통한 코딩 에이전트의 과도한 동작 유도

SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents

코딩 에이전트는 일련의 쉘, 파일 및 네트워크 작업을 통해 정상적인 작업을 수행하지만, 이러한 작업 중 일부는 허용된 범위를 벗어나면서도 작업은 성공적으로 완료될 수 있습니다. 우리는 이를 '과도한 동작'이라고 부릅니다. 즉, 프롬프트가 적대적이지 않고 실행이 성공했지만, 범위 밖의 단계에서 인증 정보를 유출하거나 파일을 삭제할 수 있는 상황을 의미합니다. 기존 벤치마크는 이러한 문제를 간과합니다. 작업 완료 테스트는 완료된 모든 실행에 가점을 부여하고, 탈옥 테스트는 적대적인 프롬프트를 탐색하며, 기존의 과도한 동작 평가 방법은 단일 고정된 프롬프트 세트를 모든 에이전트-모델 쌍에 적용하여 가장 쉽거나 저항력이 강한 조합을 제대로 측정하지 못합니다. 우리는 SNARE (Synthesizing Non-adversarial scenarios for Adaptive Reward-guided Elicitation)라는 파이프라인을 제안합니다. 이 파이프라인은 재사용 가능한 범위 및 함정 조각으로 구성된 정상적인 시나리오를 생성하고, 판사 없이 오라클을 사용하여 함정 패턴 일치 또는 원하지 않는 파일 추가/삭제 여부를 확인하여 각 실행을 평가하며, 톰슨 샘플링을 활용하여 각 쌍의 실행 예산을 과도한 동작이 가장 자주 발생하는 시나리오로 조정합니다. 이 파이프라인을 24가지 유형의 과도한 동작에 적용하여 OverEager를 구현하고, 이를 네 가지 코딩 에이전트와 다섯 가지 기본 모델 조합으로 구성된 매트릭스에서 실행했습니다. 10,000번의 정상적인 실행 중 19.51%가 과도한 동작을 유발했으며, 쌍별 발생률은 최대 11.9배까지 차이가 있었습니다. 이러한 변동성은 모델이 아닌 에이전트 프레임워크에 의해 주로 결정됩니다. 프레임워크는 전체 변동성의 56%를 차지하는 반면, 모델은 21%를 차지합니다. 따라서 단일 프레임워크 또는 단일 모델 평가 시 결과가 전체 매트릭스의 약 20% 정도 부족하게 나타날 수 있습니다.

A coding agent executes a benign task as a sequence of shell, file, and network actions, any of which can quietly exceed the authorized scope while the task still completes. We call this overeager behavior: the prompt is not adversarial and the run succeeds, yet an out-of-scope step can leak credentials or delete files. Existing benchmarks miss it: task-completion suites credit any finished run, jailbreak suites probe adversarial prompts, and the one prior overeager benchmark applies a single fixed prompt set to every agent-model pair, leaving its easiest and most resistant pairs under-measured. We present SNARE (Synthesizing Non-adversarial scenarios for Adaptive Reward-guided Elicitation), a pipeline that composes benign scenarios from reusable scope and trap fragments, scores each run with a judge-free oracle flagging trap-pattern matches and unsolicited file additions or deletions, and uses Thompson sampling to steer each pair's run budget toward the scenarios that most often trigger it. Instantiating it over 24 overeager archetypes yields OverEager, which we run across a 4x5 matrix of four coding agents and five base models. Across 10,000 benign runs, 19.51% trigger overeager behavior, with per-pair rates spanning 11.9x. This variation is driven by the agent framework, not the model: the framework accounts for 56% of it against the model's 21%, so any single-framework or single-model evaluation undercounts the matrix by about a fifth.