PV-SQL: 데이터베이스 탐색과 규칙 기반 검증을 결합하여 텍스트-SQL 에이전트의 성능 향상

PV-SQL: Synergizing Database Probing and Rule-based Verification for Text-to-SQL Agents

텍스트-SQL 시스템은 종종 복잡한 쿼리와 미묘한 요구 사항을 가진 경우, 심층적인 문맥 이해에 어려움을 겪습니다. 본 논문에서는 이러한 문제점을 해결하기 위해 데이터베이스 탐색(Probe)과 검증(Verify)이라는 상호 보완적인 구성 요소를 갖춘 에이전트 프레임워크인 PV-SQL을 제안합니다. Probe 구성 요소는 데이터베이스에서 구체적인 레코드를 검색하기 위해 반복적으로 탐색 쿼리를 생성하여 값 형식, 열 의미 및 테이블 간 관계의 모호성을 해소하고 풍부한 문맥 이해를 구축합니다. Verify 구성 요소는 규칙 기반 방법을 사용하여 검증 가능한 조건을 추출하고 실행 가능한 체크리스트를 구성함으로써, 누락된 제약 조건을 효과적으로 줄이는 반복적인 SQL 개선을 가능하게 합니다. BIRD 벤치마크에 대한 실험 결과, PV-SQL은 최첨단 텍스트-SQL 시스템보다 실행 정확도에서 5%, 유효 효율성 점수에서 20.8% 더 높은 성능을 보였으며, 더 적은 토큰을 사용했습니다.

Text-to-SQL systems often struggle with deep contextual understanding, particularly for complex queries with subtle requirements. We present PV-SQL, an agentic framework that addresses these failures through two complementary components: Probe and Verify. The Probe component iteratively generates probing queries to retrieve concrete records from the database, resolving ambiguities in value formats, column semantics, and inter-table relationships to build richer contextual understanding. The Verify component employs a rule-based method to extract verifiable conditions and construct an executable checklist, enabling iterative SQL refinement that effectively reduces missing constraints. Experiments on the BIRD benchmarks show that PV-SQL outperforms the best text-to-SQL baseline by 5% in execution accuracy and 20.8% in valid efficiency score while consuming fewer tokens.