추론과 탐색: 대화형 정보 검색 기반 선호도 추출을 통한 소프트웨어 성능 요구사항 정량화

Conjecture and Inquiry: Quantifying Software Performance Requirements via Interactive Retrieval-Augmented Preference Elicitation

소프트웨어 성능 요구사항은 일반적으로 자연어로 기술되므로, 소프트웨어 엔지니어링에서 이를 수학적 형태로 정량화하는 것은 필수적입니다. 그러나 성능 요구사항의 모호성과 인간 인지 능력의 불확실성으로 인해 해석에 높은 수준의 불확실성이 발생하며, 이는 자동화된 정량화를 해결해야 할 중요한 과제로 만듭니다. 본 논문에서는 이러한 문제를 공식화하고, 대화형 정보 검색 기반 선호도 추출을 통해 성능 요구사항을 수학적 함수로 정량화하는 방법인 IRAP을 제안합니다. IRAP은 문제에 특화된 지식을 활용하여 선호도를 검색하고 추론하며, 이를 통해 이해관계자와의 점진적인 상호작용을 유도하고 인지적 부담을 줄입니다. 네 개의 실제 데이터 세트에 대한 10개의 최첨단 방법과의 실험 결과는 IRAP이 모든 경우에 우수한 성능을 보이며, 단 5번의 상호작용으로 최대 40배의 성능 향상을 달성했음을 보여줍니다.

Since software performance requirements are documented in natural language, quantifying them into mathematical forms is essential for software engineering. Yet, the vagueness in performance requirements and uncertainty of human cognition have caused highly uncertain ambiguity in the interpretations, rendering their automated quantification an unaddressed and challenging problem. In this paper, we formalize the problem and propose IRAP, an approach that quantifies performance requirements into mathematical functions via interactive retrieval-augmented preference elicitation. IRAP differs from the others in that it explicitly derives from problem-specific knowledge to retrieve and reason the preferences, which also guides the progressive interaction with stakeholders, while reducing the cognitive overhead. Experiment results against 10 state-of-the-art methods on four real-world datasets demonstrate the superiority of IRAP on all cases with up to 40x improvements under as few as five rounds of interactions.