대화형 텍스트-NoSQL 변환을 위한 추론 경로 개선 Monte Carlo 트리 탐색: 소규모 언어 모델 활용

Monte Carlo Tree Search with Reasoning Path Refinement for Small Language Models in Conversational Text-to-NoSQL

NoSQL 데이터베이스는 유연성과 확장성 덕분에 빅데이터 분석, 지리 공간 애플리케이션 및 의료 서비스 분야에서 널리 사용되고 있습니다. 그러나 NoSQL 데이터베이스에 대한 쿼리 생성은 전문적인 기술 지식을 필요로 하며, 이는 사용자에게 높은 진입 장벽을 만듭니다. 최근 연구에서는 텍스트-NoSQL 문제를 탐구했지만, 대부분 단일 턴 상호 작용에 초점을 맞추고 실제 쿼리의 대화형 특성을 간과했습니다. 이러한 간극을 해소하기 위해, 본 논문에서는 자연어 질문, NoSQL 데이터베이스 및 대화 기록을 기반으로 NoSQL 쿼리를 생성하는 대화형 텍스트-NoSQL 변환(Conversational Text-to-NoSQL) 문제를 제안합니다. 이 문제를 해결하기 위해, 우리는 소규모 언어 모델(SLM)에 NoSQL 관련 추론 능력을 부여하는 프레임워크인 Stage-MCTS를 제안합니다. 이 프레임워크는 쿼리 생성을 탐색 문제로 구성하고, 규칙 기반 보상을 통해 Monte Carlo 트리 탐색(MCTS)을 사용하여 단계별 추론 데이터를 생성하며, 이후 점진적인 지도 학습(SFT) 및 자체 학습 전략을 적용합니다. 또한, 2,000개 이상의 대화와 150개의 데이터베이스를 포함하는 교차 도메인 데이터셋인 CoNoSQL을 구축하여 평가를 지원합니다. 실험 결과, 제안하는 방법은 최첨단 대규모 추론 모델보다 뛰어난 성능을 보이며, 실행 값 일치(EVM) 정확도를 최대 7.93% 향상시켰습니다.

NoSQL databases have been widely adopted in big data analytics, geospatial applications, and healthcare services, due to their flexibility and scalability. However, querying NoSQL databases requires specialized technical expertise, creating a high barrier for users. While recent studies have explored text-to-NoSQL problem, they primarily focus on single-turn interactions, ignoring the conversational nature of real-world queries. To bridge this gap, we introduce the Conversational Text-to-NoSQL task, which generates NoSQL queries given a natural language question, a NoSQL database, and the dialogue history. To address this task, we propose Stage-MCTS, a framework that endows small language models (SLMs) with NoSQL-specific reasoning capabilities by formulating query generation as a search problem. The framework employs Monte Carlo Tree Search (MCTS) guided by a rule-based reward to produce stepwise reasoning data, followed by progressive supervised fine-tuning (SFT) and self-training strategies. We further construct CoNoSQL, a cross-domain dataset with over 2,000 dialogues and 150 databases, to support evaluation. Experiments demonstrate that our approach outperforms state-of-the-art large reasoning models, improving execution value match (EVM) accuracy by up to 7.93%.