검증 불가능에서 검증 가능으로: LLM 시대의 변형 테스트

From Untestable to Testable: Metamorphic Testing in the Age of LLMs

본 논문은 점점 더 많은 AI 및 LLM 기능을 통합하는 소프트웨어 시스템을 테스트하는 데 따르는 어려움을 다룹니다. LLM은 강력하지만 신뢰성이 낮으며, 테스트를 위한 라벨링된 정확한 데이터는 거의 확장 가능하지 않습니다. 변형 테스트는 여러 테스트 실행 간의 관계를 실행 가능한 테스트 오라클로 변환하여 이 문제를 해결합니다.

This article discusses the challenges of testing software systems with increasingly integrated AI and LLM functionalities. LLMs are powerful but unreliable, and labeled ground truth for testing rarely scales. Metamorphic Testing solves this by turning relations among multiple test executions into executable test oracles.