AgentSM: 에이전트형 Text-to-SQL을 위한 시맨틱 메모리

AgentSM: Semantic Memory for Agentic Text-to-SQL

최근 LLM 기반 Text-to-SQL 기술의 발전은 BIRD나 Spider와 같은 공개 벤치마크에서 괄목할 만한 성과를 거두었습니다. 그러나 이러한 시스템들은 거대하고 복잡한 스키마, 다양한 SQL 방언, 그리고 비용이 많이 드는 다단계 추론이 수반되는 실제 기업 환경에서는 확장성에 어려움을 겪고 있습니다. 새롭게 부상하는 에이전트형 접근 방식은 적응형 추론의 가능성을 보여주지만, 데이터베이스와의 반복적인 상호작용, 일관성 없는 출력 생성, 그리고 간혹 유효한 답변 도출에 실패하는 등 비효율성과 불안정성 문제를 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 해석 가능한 시맨틱 메모리를 구축하고 활용하는 Text-to-SQL용 에이전트 프레임워크인 Agent Semantic Memory(AgentSM)를 소개합니다. AgentSM은 원시 스크래치패드나 벡터 검색에 의존하는 대신, 이전 실행 기록(trace)을 포착하거나 선별된 기록을 합성하여 향후 추론을 직접 가이드하는 구조화된 프로그램으로 저장합니다. 이러한 설계는 추론 경로의 체계적인 재사용을 가능하게 하여, 에이전트가 더 큰 스키마, 더 복잡한 질문, 그리고 더 긴 수행 궤적(trajectory)에 대해 효율적이고 안정적으로 대응할 수 있도록 합니다. 최신 시스템들과 비교했을 때, AgentSM은 Spider 2.0 벤치마크에서 평균 토큰 사용량과 궤적 길이를 각각 25%, 35% 감소시켜 더 높은 효율성을 달성했습니다. 또한 실행 정확도를 향상시켜 Spider 2.0 Lite 벤치마크에서 최고 수준인 44.8%의 정확도를 기록했습니다.

Recent advances in LLM-based Text-to-SQL have achieved remarkable gains on public benchmarks such as BIRD and Spider. Yet, these systems struggle to scale in realistic enterprise settings with large, complex schemas, diverse SQL dialects, and expensive multi-step reasoning. Emerging agentic approaches show potential for adaptive reasoning but often suffer from inefficiency and instability-repeating interactions with databases, producing inconsistent outputs, and occasionally failing to generate valid answers. To address these challenges, we introduce Agent Semantic Memory (AgentSM), an agentic framework for Text-to-SQL that builds and leverages interpretable semantic memory. Instead of relying on raw scratchpads or vector retrieval, AgentSM captures prior execution traces-or synthesizes curated ones-as structured programs that directly guide future reasoning. This design enables systematic reuse of reasoning paths, which allows agents to scale to larger schemas, more complex questions, and longer trajectories efficiently and reliably. Compared to state-of-the-art systems, AgentSM achieves higher efficiency by reducing average token usage and trajectory length by 25% and 35%, respectively, on the Spider 2.0 benchmark. It also improves execution accuracy, reaching a state-of-the-art accuracy of 44.8% on the Spider 2.0 Lite benchmark.