BackendForge: 백엔드 서비스 기반의 에이전트형 엔드투엔드 코드 생성 성능 평가

BackendForge: Benchmarking Agentic End-to-End Code Generation with Backend Services

대규모 언어 모델(LLM)은 파일 검사, 명령 실행, 테스트 수행, 오류 관찰 및 반복적인 코드 수정과 같은 에이전트형 코딩 환경에서 점점 더 많이 사용되고 있습니다. 이러한 변화는 다음과 같은 핵심적인 평가 질문을 제기합니다. 즉, 에이전트형 LLM이 배포 가능하고 실행 시 동작적으로 정확한 엔드투엔드 소프트웨어 아티팩트를 생성할 수 있는가? 백엔드 서비스는 이러한 평가를 위한 통제되고 현실적인 환경을 제공합니다. 이들의 API는 애플리케이션 수준의 실행 의미 체계를 노출하며, 배포된 동작은 블랙박스 HTTP 상호 작용을 통해 OpenAPI 계약과 비교하여 결정적으로 검증될 수 있습니다. 본 연구에서는 실제 오픈 소스 애플리케이션에서 파생된 56개의 계약 기반 백엔드 생성 작업을 포함하는 벤치마크인 BackendForge를 소개합니다. 가시적인 사양 및 OpenAPI 계약이 주어지면, LLM은 Docker로 패키징되고 HTTP 테스트만으로 구축, 배포 및 평가되는 서비스를 생성해야 합니다. 숨겨진 요구 사항을 도입하지 않고 평가를 강화하기 위해, BackendForge는 테스트 에이전트와 코드 에이전트를 사용하여 테스트 오라클과 참조 서비스를 공동으로 발전시킵니다. 테스트 에이전트는 사양 기반의 백엔드 테스트를 제안하고, 코드 에이전트는 참조 구현을 수정합니다. 가장 뛰어난 성능을 보인 모델인 GPT-5.5는 기본 오라클 기준에서 55.4%의 작업에 성공했지만, 최종 오라클 기준에서는 28.6%에 불과했습니다. 이러한 격차는 현재 LLM이 많은 로컬 API 동작을 구현할 수 있지만, 여전히 완전한 백엔드 서비스를 생성하는 데 어려움을 겪고 있음을 시사합니다.

Large language models (LLMs) are increasingly used in agentic coding settings, where they can inspect files, execute commands, run tests, observe failures, and iteratively revise code. This shift raises a central evaluation question: can an agentic LLM generate an end-to-end software artifact that is both deployable and behaviorally correct under execution? Backend services provide a controlled but realistic substrate for this evaluation. Their APIs expose application-level executable semantics, and deployed behavior can be checked deterministically against an OpenAPI contract through black-box HTTP interactions. We introduce BackendForge, a benchmark of 56 contract-defined backend generation tasks rewritten from real open-source applications. Given a visible specification and an OpenAPI contract, an LLM must generate a Dockerized service that is built, deployed, and evaluated only through HTTP tests. To strengthen evaluation without introducing hidden requirements, BackendForge uses a test agent and a code agent to co-evolve the test oracle and reference service, where the test agent proposes specification-grounded backend tests and the code agent repairs the reference implementation. Although the best-performing model, GPT-5.5, succeeds on 55.4\% of tasks under the base oracle, it succeeds on only 28.6\% under the final oracle. This gap suggests that current LLMs can implement many local API behaviors, but still struggle to produce complete backend services.