TOFFEE 시연: 대규모 데이터 에이전트 경로를 생성하는 학습 시스템

Demonstrating TOFFEE: A Learned System for Synthesizing Data Agent Trajectories at Scale

LLM 기반 데이터 에이전트는 데이터 중심 의사 결정에서 점점 더 중요한 역할을 수행하고 있습니다. 그러나 기존 데이터 에이전트는 특히 이질적인 기업 환경에서 새로운 데이터 환경 및 분석 워크플로우에 대한 일반화 능력이 부족합니다. 이는 주어진 데이터 환경에 대한 복잡한 분석 워크플로우를 포착하는 고품질 데이터 에이전트 경로를 생성해야 하는 요구를 증가시킵니다. 이러한 경로는 두 가지 주요 활용 방안을 지원합니다. 첫째, 대상 도메인에 맞게 데이터 에이전트 모델을 조정하는 데 사용되는 지도 학습(SFT) 데이터를 제공하고, 둘째, 일반적인 LLM이 익숙하지 않은 데이터 환경에서 작동하도록 안내하는 인컨텍스트 학습(ICL) 시연 역할을 합니다. 따라서 우리는 적응형 모델 선택 및 교차 작업 프리픽스 재사용을 통해 몬테 카를로 트리 검색(MCTS)을 사용하여 주어진 데이터 환경에서 고품질 데이터 에이전트 경로를 생성하는 시스템인 TOFFEE를 소개합니다. 우리는 TOFFEE가 다양한 환경에서 복잡한 분석 작업을 위한 확장 가능한 경로 데이터를 효과적으로 생성할 수 있음을 보여줍니다. 이 시연에서는 TOFFEE의 시스템 프레임워크, 즉 작업 풀 구성, 경로 탐색기 및 학습된 비용 모델을 제시합니다. 또한 TOFFEE의 웹 인터페이스와 워크플로우를 소개하고, 데이터 에이전트 미세 조정용 경로 생성 및 데모 기반 데이터 에이전트 추론이라는 두 가지 엔드 투 엔드 시나리오를 보여줍니다.

LLM-powered data agents are playing an increasingly important role in data-driven decision making. However, existing data agents struggle to generalize to unseen data environments and analytical workflows, especially in heterogeneous enterprise settings. This creates a growing need for synthesizing high-quality data agent trajectories that capture complex analytical workflows for given data environments. Such trajectories support two key downstream uses: they can serve as supervised finetuning (SFT) data that adapts data agent models to the target domain, and as in-context learning (ICL) demonstrations to guide general-purpose LLMs in unfamiliar data environments. Thus, we introduce TOFFEE, a system for synthesizing high-quality data agent trajectories from given data environments via Monte Carlo Tree Search (MCTS) with adaptive model selection and cross-task prefix reuse. We show that TOFFEE can effectively generate scalable trajectory data for complex analytical tasks across heterogeneous environments. In this demonstration, we present the system framework of TOFFEE, including its task pool construction, trajectory explorer, and learned cost model. We also introduce the web interface of TOFFEE and its workflow, and demonstrate two end-to-end scenarios: trajectory synthesis for data agent finetuning, and demonstration-augmented data agent reasoning.