카르노(Carnot): 해석 가능하고, 상호 작용적이며, 최적화된 심층 연구 질의 실행 엔진

Carnot: Interpretable, Interactive, and Optimized Execution of Deep Research Queries

기업들은 점점 더 자연어 기반으로 데이터 레이크를 질의하기 위해 AI 기반 도구, 예를 들어 의미 연산자 또는 심층 연구 에이전트를 사용하고 있습니다. 그러나 후자는 투명성이 떨어지는 블랙박스와 같이 작동하며, 중간 추론 및 데이터 검색 단계를 숨기고 API 비용 및 실행 지연 시간을 관리할 수 있는 제어 기능을 제공하지 않습니다. 반면 전자는 기업 규모의 데이터 레이크에서 엄청나게 비쌀 수 있습니다. 결과적으로 이러한 시스템을 사용하는 분석가들은 환각된 가정을 검증하거나, 중간 결과를 확인하거나, 시스템의 방향을 수정하는 등 통제권을 행사하기 어렵습니다. 본 논문에서는 AI 기반 분석을 위한 상호 작용형 실행 엔진인 카르노(Carnot)를 소개합니다. 카르노는 자연어 요청을 물리적 실행 그래프로 컴파일하고, 이를 사용자가 상호 작용할 수 있는 노트북 인터페이스를 통해 제공합니다. 사용자는 최종 결과를 기다리는 대신, 계획에 대한 비판을 할 수 있고, 연산자를 점진적으로 실행하거나, 중간 데이터를 검사하거나, 기본 코드 또는 의미 연산자 지침을 직접 편집할 수 있습니다. 카르노의 질의 최적화기는 사용자로부터 제공된 비용 또는 지연 시간 제약 조건에 따라 질의를 최적화합니다. 저희는 시연을 통해 카르노가 실제 기업 사용 사례에서 파생된 워크로드에 대해 효율적이고 검증 가능한 인사이트를 얻도록 어떻게 도와주는지 보여드릴 것입니다.

Enterprises increasingly seek to query data lakes using natural language via AI-driven tools like semantic operators or deep research agents. However, the latter operates as an opaque black box, hiding its intermediate reasoning and data retrieval steps, and failing to expose controls for managing API costs and execution latency. Meanwhile, the former can be prohibitively expensive for enterprise-scale data lakes. Consequently, analysts using these systems lack the agency to intercept hallucinated premises, verify intermediate results, or correct the system's trajectory. We present Carnot, an interactive execution engine for AI-driven analytics. Carnot compiles natural language requests into physical execution graphs and surfaces them through an interactive notebook interface. Rather than waiting blindly for a final output, users can critique the plan, incrementally execute operators, inspect intermediate data, or directly edit the underlying code or semantic operator instructions. Carnot's query optimizer will optimize the query with respect to cost or latency constraints provided by the user. Our demo will showcase how Carnot helps users achieve efficient and verifiable insights on workloads motivated by real enterprise use cases.