TAHOE: 경험 기반 자동 힌트 최적화를 통한 텍스트-SQL 시스템

TAHOE: Text-to-SQL with Automated Hint Optimization from Experience

대규모 언어 모델(LLM)은 텍스트-SQL 기술을 통해 데이터베이스 접근성을 향상시켰지만, 프로토타입 단계를 넘어 실제 운영 환경으로 적용하는 데는 어려움이 있습니다. 실제 배포에서는 엄격한 SQL 방언, 대규모 스키마 및 변화하는 사용자 선호도를 처리해야 하며, 지도 학습은 비용이 많이 들고 경직적이며, 에이전트 기반의 테스트 시간 확장 또한 비쌉니다. 본 논문에서는 프롬프트 최적화를 동적인 데이터 관리 문제로 간주하는 시스템인 Tahoe를 소개합니다. Tahoe는 개발 및 배포 단계에서 오류 기반 힌트 학습 파이프라인을 사용하여 디버깅 추적 정보를 구조화된 힌트 은행으로 통합합니다. 컴파일러 피드백은 재사용 가능한 구문 힌트로 변환되어 방언별 규칙에 적용되며, 실행 및 사용자 피드백은 스키마 및 사용자 특정 논리에 대한 의미 힌트로 변환됩니다. 또한 Tahoe는 충돌하는 사용자 의도를 공유된 자연어 트리거 하에서 경쟁 전략으로 모델링하는 전략 레이어를 도입합니다. 이 레이어는 최근성 신호와 학습 후 속성 통계(실증적 성공, 피해, 무효, 지원)를 사용하여 성능을 요약합니다. 추론 시 Tahoe는 관련 힌트를 검색하고 LLM이 논리 계획 단계를 거쳐 SQL 구문 생성 단계를 수행하도록 안내합니다. 본 논문에서는 개발 단계의 워크플로우를 구현 및 평가하며, 배포 단계에서의 인간 피드백 업데이트는 향후 연구 과제로 남깁니다. Spider 2.0-Snow 데이터셋에서 Tahoe는 모델 파라미터를 업데이트하지 않고도 Text-to-SQL 성능을 크게 향상시킵니다. GPT-5.5를 사용하여 구축된 113개의 지도 학습 Spider 2.0-Snow-0212 예제에서, Tahoe는 정확도를 61.95%에서 79.42%로, pass-at-4 성능을 72.57%에서 87.61%로 향상시키고, Snowflake 구문 준수율을 100% 달성하며, 샘플링된 후보에 대한 평균 컴파일러 피드백 검토 횟수를 2.79회에서 0.12회로 줄였습니다. 동일한 힌트 은행은 더 약한 모델(backbone)에도 적용 가능하며, Doubao-2.0-lite 데이터셋에서 19.7%의 정확도 향상을 달성했습니다.

Large Language Models (LLMs) have democratized database access through Text-to-SQL, but moving from prototypes to production remains difficult. Real deployments must handle strict SQL dialects, massive schemas, and evolving user preferences, while supervised fine-tuning is costly and rigid and agentic test-time scaling is expensive. We present Tahoe, a system that treats prompt optimization as a dynamic data management problem. Tahoe uses an error-driven hint learning pipeline across Development and Deployment to consolidate debugging traces into a structured Hint Bank. Compiler feedback is distilled into reusable Syntax Hints for dialect-specific rules, while execution and user feedback are converted into Semantic Hints for schema- and user-specific logic. Tahoe further introduces a Strategy Layer that models conflicting user intents as competing strategies under shared natural-language triggers, with recency signals and post-learning attribution statistics that summarize empirical success, harm, inertness, and support. At inference time, Tahoe retrieves relevant hints and guides the LLM through Logic Planning followed by SQL Synthesis. We implement and evaluate the development-phase workflow, leaving deployment-time human-feedback updates for future work. On Spider 2.0-Snow, Tahoe substantially improves Text-to-SQL without updating model parameters. On 113 supervised Spider 2.0-Snow-0212 examples using GPT-5.5, Tahoe raises pass rate from 61.95 percent to 79.42 percent and pass-at-4 from 72.57 percent to 87.61 percent, achieves 100 percent Snowflake syntax pass rate, and reduces average compiler-feedback critic rounds from 2.79 to 0.12 per sampled candidate. The same Hint Bank also transfers to weaker backbones, including a 19.7 percentage-point pass-rate gain on Doubao-2.0-lite.