데이터베이스 시나리오에서의 LLM 평가: 핵심 데이터베이스 작업에 대한 잠재력을 평가하기 위한 라이프사이클 벤치마크

Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks

대규모 언어 모델(LLM)은 데이터베이스 상호작용 패러다임을 변화시키며, 단순한 질의 번역기로부터 자율적인 데이터베이스 관리자(DBA)로 진화하고 있습니다. 그러나 현재 평가 벤치마크는 여전히 Text-to-SQL 작업에 지나치게 집중되어 있으며, 초기 스키마 설계부터 배포 후 유지보수에 이르는 전체 데이터베이스 라이프사이클을 고려하지 못합니다. 이러한 제한적인 관점은 실제 데이터베이스 관리에서 요구되는 다양한 능력을 제대로 반영하지 못합니다. 이러한 간극을 해소하기 위해, 우리는 다섯 가지 중요한 라이프사이클 단계(설계, 구현, 운영, 디버깅 및 유지보수)에 걸쳐 LLM을 평가하는 최초의 벤치마크인 DBLifeBench를 소개합니다. 또한, 모호한 자연어와 복잡한 SQL 로직 간의 인지적 불일치를 해결하기 위해, 우리는 구조화된 추론 그래프를 사용하여 인간의 반복적인 문제 해결 방식을 모방하는 새로운 작업인 Progressive-Text2SQL을 제안합니다. 광범위한 평가 결과는 중요한 통찰력을 제공합니다. 즉, 범용 모델은 균형 잡힌 성능을 보이는 반면, 특수 목적의 Text-to-SQL 모델은 설계 및 유지보수와 같은 코딩이 아닌 단계에서 "파국적인 망각" 현상을 겪습니다. DBLifeBench는 진정한 풀스택 데이터베이스 인텔리전스를 평가하고 구축하기 위한 중요한 첫걸음입니다.

Large Language Models (LLMs) are transforming database interaction paradigms, evolving from simple query translators to autonomous database administrators (DBAs). However, current evaluation benchmarks remain disproportionately fixated on Text-to-SQL tasks, neglecting the holistic Database Lifecycle-from initial schema design to post-deployment maintenance. This narrow focus fails to capture the diverse capabilities required for real-world database management. To bridge this gap, we introduce DBLifeBench, the first benchmark to evaluate LLMs across five critical lifecycle phases: Design, Implementation, Operation, Debugging, and Maintenance. Furthermore, addressing the cognitive mismatch between ambiguous natural language and complex SQL logic, we propose Progressive-Text2SQL, a novel task utilizing structured reasoning graphs to mimic human iterative problem-solving. Our extensive evaluation reveals a critical insight: while general-purpose models demonstrate balanced performance, specialized Text-to-SQL models suffer from ``catastrophic forgetting'' in non-coding phases like design and maintenance. DBLifeBench serves as a foundational step toward evaluating and building true full-stack database intelligence.