에이전트 기반 소프트웨어 개발에서 써드파티 API 라우터의 비용은 어디에 있는가?

Where Is the Cost of Third-Party API Routers in Agentic Software Development?

써드파티 API 라우터는 다양한 LLM(Large Language Model) 제공업체 간의 접근을 통합하는 일반적인 계층으로 자리 잡았습니다. 코딩 에이전트 워크플로우에서 높은 자율성을 활용하는 것은 상호 작용 오버헤드를 줄이기 때문입니다. 결과적으로, 에이전트와 업스트림 제공업체 사이에 위치하는 써드파티 API 라우터는 필연적으로 신뢰 경로를 점유하게 됩니다. 이는 모든 요청과 응답을 검사하고 수정할 수 있지만, 제공업체의 출력과 에이전트에 의해 궁극적으로 실행되는 저장소 수준의 작업 간의 일관성을 확인하는 메커니즘은 존재하지 않습니다. 따라서 클라이언트 측 권한 부여 메커니즘은 실제로 효과적이지 않을 수 있습니다. 이러한 제어 격차가 소프트웨어 개발 작업에 실질적인 영향을 미치는지 여부는 아직 경험적으로 측정되지 않았습니다. 본 논문에서는 코딩 에이전트의 라우터 측 삽입을 경험적으로 연구하여, 점진적으로 정교해지는 네 가지 수준(응답 대체(L1), 응답 추가(L2), LLM 기반 개선된 삽입(L3), 그리고 LLM 기반 개선 및 배포 정렬 삽입(L4))의 개입을 조사합니다. 또한, 400개의 샘플로 구성된 큐레이션 데이터셋과 함께 추적 기록, 재생, 삽입 및 방어 평가를 위한 프레임워크인 SIDEL을 개발했습니다. 우리는 네 가지 대표적인 코딩 에이전트를 평가하고, 화이트리스트 기반 실행 제어 및 LLM 검토를 추가적으로 평가합니다. 라우터 측 개입은 저장소 수준의 작업에 상당한 변화를 가져오며, 기존의 클라이언트 측 보호 장치가 탐지하기 어렵습니다. 추가적인 완화 조치 없이는 평가된 모든 에이전트가 모든 삽입 수준에서 0%의 방어 성공률을 보였습니다. 클라이언트 측 완화 및 사후 검토는 저항력을 향상시키지만, 완전한 엔드투엔드 제어를 복원하지 못하므로 제공업체 측에서의 출력 무결성 보장이 필요함을 시사합니다. 저희 코드는 https://github.com/Riyasushin/SIDE 에서 확인할 수 있습니다.

Third-party API routers have become a common layer that unifies access across increasingly diverse LLM providers. In coding-agent workflows, high-autonomy operation is widely adopted because it reduces interaction overhead. As a result, a third-party API router, which sits between the agent and the upstream provider, inevitably occupies the trusted path. It can inspect and modify every request and response, yet no mechanism verifies alignment between the provider's output and the repository-level actions ultimately executed by the agent. Consequently, client-side permission mechanisms may become ineffective in practice. Whether this control gap produces real, hard-to-detect effects on software development tasks remains empirically unmeasured. In this paper, we conduct an empirical study of router-side injection in coding agents, examining four intervention levels of increasing subtlety: Response Substitution (L1), Response Append (L2), LLM-Polished Injection (L3), and LLM-Polished with Distribution Alignment Injection (L4). Moreover, we develop SIDEL, a framework for trace recording, replay, injection, and defense evaluation, with a curated dataset of 400 samples. We evaluate four representative coding agents, and further evaluate whitelist-based execution control and LLM review. Router-side intervention substantially alters repository-level actions and remains difficult for existing client-side safeguards to detect. Without additional mitigations, all evaluated agents achieved a defense success rate of 0 percent across all injection levels. Client-side mitigations and reactive reviews improve resistance but do not fully restore end-to-end control, motivating provider-side output-integrity guarantees. Our code is available at https://github.com/Riyasushin/SIDE.