UrbanDS: 그래프 기반 LLM 멀티 에이전트 시스템을 활용한 데이터 중심 도시 문제 해결

UrbanDS: A Graph-Guided LLM Multi-Agent System for Data-Intensive Urban Tasks

대규모 언어 모델(LLM) 에이전트는 데이터 과학 작업 자동화에 광범위하게 사용되어 왔습니다. 그러나 기존 방법은 일반적으로 제한된 데이터 세트에 의존하며, 대규모 및 이기종 데이터 저장소에서 관련 정보를 발견하고 활용해야 하는 데이터 중심 시나리오에서 어려움을 겪습니다. 도시 문제는 이러한 시나리오의 대표적인 예입니다. 왜냐하면 도시 데이터는 규모가 크고 다양한 출처에서 비롯될 뿐만 아니라 복잡한 공간적, 시간적 및 의미적 관계를 가지고 있기 때문입니다. 이러한 문제점을 해결하기 위해, 우리는 데이터 중심 도시 문제를 위한 그래프 기반 LLM 멀티 에이전트 시스템인 UrbanDS를 제안합니다. 먼저, 재사용 가능한 데이터 세트 기술과 데이터 세트 간의 관계를 구성하는 통합된 데이터 세트 그래프를 구축합니다. 특히, 각 데이터 세트에 대한 기술을 생성하는 데이터 프로파일링 에이전트를 개발했습니다. 또한, 관계 에이전트는 데이터 세트 간의 관계를 식별하고 이러한 관계를 데이터 세트 그래프에 통합합니다. 런타임 시, 플래너 에이전트는 그래프에서 작업 관련 데이터 세트를 검색하고 실행 계획을 생성합니다. 여러 개의 실행 에이전트는 데이터 처리 및 분석 작업을 수행하며, 실행 진행 상황과 중간 결과는 공유 메모리를 통해 교환됩니다. 마지막으로, 보고서 에이전트는 실험 로그를 보고서로 종합하며, 이 보고서는 사용자 피드백에 따라 추가적으로 개선될 수 있습니다. UrbanDS의 에이전트가 데이터 중심 도시 시나리오에서 얼마나 효과적인지 체계적으로 평가하기 위해, 우리는 대표적인 데이터 분석 및 모델링 작업을 포함하는 도시 데이터 과학 벤치마크인 UrbanDS-Bench를 추가로 구축했습니다. 일반 벤치마크와 도시 벤치마크에서의 실험 결과는 UrbanDS가 데이터 중심 작업에서 기존의 데이터 과학 에이전트보다 일관되게 우수한 성능을 발휘한다는 것을 보여줍니다. 또한, UrbanDS는 중국 우한시 동쉬후구의 도시 운영 플랫폼에 배포되어 실제 도시 애플리케이션에서의 효과를 입증했습니다.

Large language model (LLM) agents have been widely applied in automating data science tasks. However, existing methods typically rely on a limited set of provided datasets, and they face challenges in data-intensive scenarios that require discovering and leveraging relevant information from large-scale and heterogeneous data repositories. Urban tasks are representative examples of such scenarios, as urban data are not only large-scale and multi-sourced, but also exhibit complex spatial, temporal, and semantic relationships. To address these challenges, we propose UrbanDS, a graph-guided LLM multi-agent system for data-intensive urban tasks. We first construct a unified dataset graph to organize reusable dataset skills and the relationships among datasets. Specifically, we develop a Data Profiling Agent that constructs a skill for each dataset. Moreover, a Relation Agent identifies relationships among datasets and integrates these relationships into the dataset graph. At runtime, a Planner Agent retrieves task-relevant datasets from the graph and generates execution plans. Multiple Execution Agents then perform data processing and analysis, while their execution progress and intermediate results are shared through a common memory. Finally, a Report Agent synthesizes the experimental logs into a report, which can be further refined based on user feedback. To systematically evaluate the capability of agents in handling data-intensive urban scenarios, we further construct UrbanDS-Bench, an urban data science benchmark covering representative data analysis and modeling tasks. Experiments on both general and urban benchmarks demonstrate that UrbanDS consistently outperforms existing data science agents on data-intensive tasks. Furthermore, UrbanDS has been deployed on the urban operations platform of Dongxihu District, Wuhan, demonstrating its effectiveness in real-world urban applications.