ContextCov: 에이전트 지침 파일로부터 실행 가능한 제약 조건을 도출하고 적용하는 프레임워크

ContextCov: Deriving and Enforcing Executable Constraints from Agent Instruction Files

대규모 언어 모델(LLM) 기반 에이전트가 복잡하고 자율적인 소프트웨어 엔지니어링 작업을 수행함에 따라, 개발자는 프로젝트별 코딩 규칙, 도구 및 아키텍처 경계를 적용하기 위해 자연어 에이전트 지침(예: AGENTS.md)에 의존합니다. 그러나 이러한 지침은 단순히 텍스트 형태이며, 에이전트는 맥락의 한계나 충돌하는 기존 코드 때문에 자주 이러한 지침에서 벗어납니다. 우리는 이러한 현상을 '맥락 드리프트(Context Drift)'라고 부릅니다. 에이전트가 실시간 인간의 감독 없이 운영되기 때문에, 이러한 침묵 속에서의 위반은 기술 부채로 빠르게 누적됩니다. 이러한 격차를 해소하기 위해, 우리는 수동적인 에이전트 지침을 활성적이고 실행 가능한 제약 조건으로 변환하는 프레임워크인 ContextCov를 소개합니다. ContextCov는 자연어 제약 조건을 추출하고, 세 가지 영역에 걸쳐 실행 제어 검사를 생성합니다. 여기에는 코드 패턴 분석을 위한 정적 AST 분석, 금지된 명령을 차단하는 런타임 셸 shims, 그리고 구조적 및 의미적 제약 조건을 검증하는 아키텍처 검증기가 포함됩니다. 723개의 오픈 소스 저장소에 대한 평가 결과, ContextCov는 46,000개 이상의 실행 가능한 검사를 99.997%의 구문 유효성으로 성공적으로 추출하며, 안전하고 에이전트 중심의 개발을 위한 필수적인 자동 준수 계층을 제공합니다. 소스 코드 및 평가 결과는 https://anonymous.4open.science/r/ContextCov-4510/ 에서 확인할 수 있습니다.

As Large Language Model (LLM) agents increasingly execute complex, autonomous software engineering tasks, developers rely on natural language Agent Instructions (e.g., AGENTS.md) to enforce project-specific coding conventions, tooling, and architectural boundaries. However, these instructions are passive text. Agents frequently deviate from them due to context limitations or conflicting legacy code, a phenomenon we term Context Drift. Because agents operate without real-time human supervision, these silent violations rapidly compound into technical debt. To bridge this gap, we introduce ContextCov, a framework that transforms passive Agent Instructions into active, executable guardrails. ContextCov extracts natural language constraints and synthesizes enforcement checks across three domains: static AST analysis for code patterns, runtime shell shims that intercept prohibited commands, and architectural validators for structural and semantic constraints. Evaluations on 723 open-source repositories demonstrate that ContextCov successfully extracts over 46,000 executable checks with 99.997% syntax validity, providing a necessary automated compliance layer for safe, agent-driven development. Source code and evaluation results are available at https://anonymous.4open.science/r/ContextCov-4510/.