대규모 데이터베이스에는 소형, 오픈 가중치 언어 모델이 필요합니다

Large Databases Need Small, Open-Weight Language Models

독점 API를 기반으로 구축된 언어 모델 시스템은 종종 토큰 기반의 비용 모델을 사용합니다. 이는 대규모 데이터베이스 환경에서 심각한 문제가 됩니다. 왜냐하면 LM(Language Model) 기반 관계 연산자가 단일 실험 세트에 대해 10,000달러 이상의 비용을 발생시킬 수 있기 때문입니다. 이는 철저한 연구와 실제 배포를 방해합니다. 본 논문에서는 양자화된 오픈 가중치 모델이 16GB의 VRAM으로 로컬에서 실행될 때, 더 낮은 지연 시간과 훨씬 저렴한 가격으로 폐쇄형 소스 모델에 필적하거나 그 이상의 정확도를 달성할 수 있음을 보여줍니다. 이는 폐쇄형 LM API가 효과적인 LM-데이터베이스 통합에 필수적이라는 기존의 가정을 뒤집는 것입니다. 우리는 LM-DB 시스템 내에서 이러한 오픈 가중치 모델을 효율적으로 배포하는 데 필요한 주요 시스템 최적화 기술을 제시하고 분석합니다. BlendSQL v0.1.0 프레임워크에 이러한 로컬 모델을 통합함으로써, 전체 비용을 390배 줄이고 지연 시간을 3.8배 단축하여 독점 LM API와 비교할 수 있는 성능 향상을 입증했습니다. 저희 코드는 https://github.com/CapitalOne-Research/play-by-the-type-rules/tree/main/sembench 에서 이용하실 수 있습니다.

Language model systems built around proprietary APIs often operate on a token-based cost model. This becomes prohibitively expensive in the context of large databases, where LM-enhanced relational operators can incur costs exceeding $10,000 for a single set of experiments, hindering thorough research and practical deployment. In this paper, we demonstrate that quantized, open-weight models running locally on just 16GB of VRAM can match or exceed the accuracy of closed-source counterparts at lower latency and a fraction of the price, challenging the prevailing assumption that closed-source LM APIs are necessary for effective LM-database integration. We present and analyze the key system optimizations required to efficiently deploy these open-weight models within an LM-DB system. By integrating these local models into the BlendSQL v0.1.0 framework, we demonstrate a 390x reduction in overall costs and 3.8x reduction in latency compared to a proprietary LM API. We make our code available at https://github.com/CapitalOne-Research/play-by-the-type-rules/tree/main/sembench.