오류 인지 및 설명 가능한 테스트 오라클 예측

Fail-Aware and Explainable Test Oracle Prediction

테스트 오라클은 오류 탐지에 중요한 역할을 하지만, 효과적으로 구축하기는 어렵습니다. 최근의 머신러닝 기반 방법들은 테스트 어설션을 자동으로 생성하여 이 문제를 해결하려고 시도하지만, 구문적으로 정확하더라도 종종 버그를 드러내지 못하는 경우가 많습니다. 본 연구에서는 단순히 어설션을 생성하는 대신, 모델을 훈련시켜 주어진 테스트 프레임워크가 통과하거나 실패할지를 직접 예측하도록 하는 새로운 접근 방식을 탐구합니다. 우리는 FOCAL이라는 코드 LLM 기반의 판별적 오라클 예측 모델을 제시합니다. 이 모델은 테스트 프레임워크와 검증 대상 메서드 쌍으로 구성된 레이블 데이터로부터 학습하며, 훈련 과정에서 실패하는 경우에 더 큰 가중치를 부여하고, 문장 수준의 행동적인 증거를 기반으로 예측을 수행합니다. 기준 모델인 SEER과 비교하여, FOCAL은 새로운 프로젝트에서 실패하는 경우에 대한 성능을 크게 향상시키고 더욱 풍부한 설명을 제공합니다. 오류 탐지 벤치마크 및 자동 테스트 생성 결과에 대한 초기 평가 결과, 제안하는 접근 방식은 학습 분포 내에서 높은 정확도를 보이며, 기존의 판별적 오라클이 제대로 작동하지 않는 새로운 프로젝트에서의 오류 탐지를 크게 개선합니다. 또한, 강조 표시된 문장은 행동적인 설명 검증을 통해 뒷받침됩니다. 이러한 초기 결과는 오류 인지 능력을 갖춘 판별적 오라클 예측이 퍼징, 검색 기반 테스트 및 LLM 기반 테스트 생성과 같은 기존 접근 방식을 보완할 수 있음을 시사합니다. 이러한 기술들은 대규모의 테스트 프레임워크를 생성하지만 종종 오류 지향적인 오라클을 제공하지 못합니다. 향후 연구에서는 FOCAL이 생성된 테스트 프레임워크에 오류 인지 예측 오라클을 연결하여, 높은 양의 입력 생성을 실행 가능한 테스트로 변환하고 의미 있는 실패를 더 잘 드러낼 수 있도록 할 것입니다.

Despite their central role in fault detection, test oracles remain challenging to construct effectively. Recent learning based methods address this challenge by automatically generating test assertions, yet even if syntactically correct, they are often ineffective in revealing bugs. Rather than generating assertions, this study explores a different approach by training a model to directly predict whether a given test prefix passes or fails. We present FOCAL, an emerging code LLM-based discriminative oracle predictor. It learns from labeled pairs of test prefixes and methods under test, employs losses that emphasize failing cases during training, and grounds its predictions in statement level behavioral evidence. Compared with the baseline method SEER, we substantially improve performance on failing cases for unseen projects and provide richer explanations. A preliminary evaluation on fault-detection benchmarks and automated test-generation artifacts shows that our approach is highly accurate within its training distribution and substantially improves failure detection on previously unseen projects where prior discriminative oracles collapse. Moreover, the highlighted statements are supported by behavioral explanation checks. These early results suggest that fail-aware discriminative oracle prediction can complement existing approaches such as fuzzing, search-based testing, and LLM-based test generation. These techniques produce test prefixes at scale but often lack fault oriented oracles. In future work, FOCAL could take generated test prefixes and attach fault-aware predicted oracles to them, turning high-volume input generation into executable tests that are more likely to expose semantic failures.