종단 간 CLI 도구 시나리오에서 LLM 기반 0에서 1로의 소프트웨어 생성 평가

Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios

대규모 언어 모델(LLM)은 의도 기반 개발로의 전환을 주도하며, 에이전트가 처음부터 완전한 소프트웨어를 구축하는 것을 가능하게 합니다. 그러나 기존 벤치마크는 저장소 구조 계획을 무시하는 사전 정의된 템플릿에 대한 의존성과, 종단 간 동작 검증이 부족한 엄격한 화이트박스 단위 테스트라는 두 가지 한계로 인해 이러한 0에서 1로의 생성 능력을 평가하는 데 실패합니다. 이러한 격차를 해소하기 위해, 명령줄 인터페이스(CLI) 도구의 근본적인 생성 능력을 평가하기 위한 구조에 독립적인 벤치마크인 CLI-Tool-Bench를 소개합니다. 이 벤치마크는 100개의 다양한 실제 저장소를 특징으로 하며, 블랙박스 차등 테스트 프레임워크를 통해 평가됩니다. 에이전트가 생성한 소프트웨어는 샌드박스에서 실행되며, 시스템의 부작용과 터미널 출력을 다층 동등성 메트릭을 사용하여 인간이 작성한 기준(oracle)과 비교합니다. 최첨단 7개의 LLM을 평가한 결과, 최상위 모델의 성공률이 43% 미만이라는 점을 밝혀, 0에서 1로의 생성에 여전히 어려움이 있음을 보여줍니다. 또한, 더 높은 토큰 소비량이 반드시 더 나은 성능을 보장하지 않으며, 에이전트는 경향적으로 단일화된 코드를 생성합니다.

Large Language Models (LLMs) are driving a shift towards intent-driven development, where agents build complete software from scratch. However, existing benchmarks fail to assess this 0-to-1 generation capability due to two limitations: reliance on predefined scaffolds that ignore repository structure planning, and rigid white-box unit testing that lacks end-to-end behavioral validation. To bridge this gap, we introduce CLI-Tool-Bench, a structure-agnostic benchmark for evaluating the ground-up generation of Command-Line Interface (CLI) tools. It features 100 diverse real-world repositories evaluated via a black-box differential testing framework. Agent-generated software is executed in sandboxes, comparing system side effects and terminal outputs against human-written oracles using multi-tiered equivalence metrics. Evaluating seven state-of-the-art LLMs, we reveal that top models achieve under 43% success, highlighting the ongoing challenge of 0-to-1 generation. Furthermore, higher token consumption does not guarantee better performance, and agents tend to generate monolithic code.