프롬프트 커버리지 적절성

Prompt Coverage Adequacy

최근 몇 년 동안, 대규모 언어 모델(LLM)과 자율 에이전트가 소프트웨어 개발의 추상화 수준을 높여 정교한 절차를 작성하는 것에서 벗어나 의도와 목표를 표현하는 방향으로 전환되면서 그 중요성이 더욱 부각되고 있습니다. 이러한 패러다임 전환은 특히, 코드가 아닌 프롬프트가 주요 개발 산물이 되었을 때 테스트가 어떻게 수행되어야 하는지에 대한 새로운 과제를 제시합니다. 이러한 문제에 대응하기 위해, 우리는 작업 설명을 기반으로 생성된 코드의 테스트를 지원하도록 설계된 새로운 커버리지 기준인 '프롬프트 커버리지 적절성'을 제안합니다. 프롬프트 커버리지 적절성은 기존의 코드 커버리지를 유사하게 하지만, LLM 및 에이전트 기반 프로그래밍에서 사용되는 프롬프트 수준에서 작동합니다. 구체적으로, 이는 LLM의 어텐션 메커니즘을 활용하여 주어진 테스트 스위트가 프롬프트에 명시된 요구 사항을 얼마나 잘 충족하는지를 측정합니다. 우리는 어텐션 부스팅을 기반으로 한 이 기준의 간단한 구현 방식을 두 개의 데이터 세트와 여러 LLM에서 평가했습니다. 우리의 결과는 프롬프트 커버리지가 오류 탐지 효과와 관련이 있으며, 테스트 생성 가이드로 사용될 때 기존 코드 커버리지보다 30% 이상 더 많은 오류를 발견할 수 있음을 보여줍니다. 이러한 결과는 프롬프트 커버리지 적절성이 LLM 기반 소프트웨어 개발의 새로운 패러다임에 더 적합한 테스트 메트릭을 개발하기 위한 기초가 될 수 있으며, 이 새로운 맥락에서 기존 커버리지 기준의 한계를 극복할 수 있음을 시사합니다.

In recent years, it has become increasingly evident that large language models (LLMs) and autonomous agents raise the level of abstraction in software development by shifting the focus from writing precise procedures to expressing intents and goals. This paradigm shift introduces new challenges, particularly in how testing should be guided when prompts, rather than code, become primary development artifacts. To address this challenge, we propose Prompt Coverage Adequacy, a novel coverage criterion designed to support the testing of code generated from task descriptions. Prompt Coverage Adequacy serves as an analog to traditional code coverage, but operates at the level of prompts used in LLM and agent-based programming. Specifically, it measures how well a given test suite satisfies the requirements expressed in a prompt by leveraging the attention mechanisms of LLMs. We evaluate a simple instantiation of this criterion, based on attention boosting, across two datasets and multiple LLMs. Our results demonstrate that Prompt Coverage is associated with fault-detection effectiveness and can uncover over 30+% more faults than traditional code coverage when used to guide test generation. These findings suggest that Prompt Coverage Adequacy can serve as a foundation for developing testing metrics better suited to the emerging paradigm of LLM-driven software development, addressing the limitations of classical coverage criteria in this new context.