TopoPilot: 토폴로지 데이터 분석 및 시각화를 위한 신뢰성 있는 대화형 워크플로우 자동화

TopoPilot: Reliable Conversational Workflow Automation for Topological Data Analysis and Visualization

최근의 에이전트 기반 시스템은 대규모 언어 모델이 자연어로부터 과학적 시각화 결과를 생성할 수 있음을 보여주었습니다. 그러나 신뢰성은 여전히 주요한 한계점으로 남아 있습니다. 시스템은 잘못된 작업을 수행하거나, 미묘하지만 중요한 오류를 발생시키거나, 입력이 불충분한 경우 필요한 정보를 요청하지 못할 수 있습니다. 이러한 문제는 실제 워크플로우에서 더욱 심화되는데, 이는 종종 표준 벤치마크보다 훨씬 복잡합니다. 따라서 자율적인 시각화 파이프라인에서 신뢰성을 확보하는 것은 여전히 해결해야 할 과제입니다. 본 논문에서는 복잡한 과학 시각화 워크플로우를 자동화하기 위한 신뢰성 있고 확장 가능한 에이전트 기반 프레임워크인 TopoPilot을 소개합니다. TopoPilot은 체계적인 안전 장치 및 검증 메커니즘을 통합하여 안정적인 작동을 보장합니다. 우리는 주로 토폴로지 데이터 분석 및 시각화에 초점을 맞추지만, 이 프레임워크는 다양한 시각화 도메인으로 확장될 수 있도록 설계되었습니다. TopoPilot은 신뢰성을 중심으로 하는 2개의 에이전트 아키텍처를 채택합니다. 오케스트레이터 에이전트는 사용자 프롬프트를 원자적인 백엔드 작업으로 구성된 워크플로우로 변환하고, 검증 에이전트는 실행 전에 이러한 워크플로우를 평가하여 구조적 유효성과 의미적 일관성을 적용합니다. 이러한 해석 및 검증의 분리는 코드 생성 오류를 줄이고 정확성을 보장합니다. 모듈식 아키텍처는 또한 구성 요소를 격리하고 핵심 시스템을 수정하지 않고도 새로운 설명자 및 도메인별 워크플로우를 원활하게 통합하여 견고성을 향상시킵니다. 신뢰성을 체계적으로 해결하기 위해, 우리는 오류 발생 유형에 대한 분류 체계를 제시하고 각 유형에 대한 타겟 안전 장치를 구현합니다. 100개의 프롬프트를 포함하는 1,000개의 다중 턴 대화 시뮬레이션 평가에서, TopoPilot은 광범위한 안전 장치 및 검사를 갖추지 않은 기준 시스템에 비해 99% 이상의 성공률을 달성하는 반면, 기준 시스템은 50% 미만의 성공률을 보였습니다.

Recent agentic systems demonstrate that large language models can generate scientific visualizations from natural language. However, reliability remains a major limitation: systems may execute invalid operations, introduce subtle but consequential errors, or fail to request missing information when inputs are underspecified. These issues are amplified in real-world workflows, which often exceed the complexity of standard benchmarks. Ensuring reliability in autonomous visualization pipelines therefore remains an open challenge. We present TopoPilot, a reliable and extensible agentic framework for automating complex scientific visualization workflows. TopoPilot incorporates systematic guardrails and verification mechanisms to ensure reliable operation. While we focus on topological data analysis and visualization as a primary use case, the framework is designed to generalize across visualization domains. TopoPilot adopts a reliability-centered two-agent architecture. An orchestrator agent translates user prompts into workflows composed of atomic backend actions, while a verifier agent evaluates these workflows prior to execution, enforcing structural validity and semantic consistency. This separation of interpretation and verification reduces code-generation errors and enforces correctness guarantees. A modular architecture further improves robustness by isolating components and enabling seamless integration of new descriptors and domain-specific workflows without modifying the core system. To systematically address reliability, we introduce a taxonomy of failure modes and implement targeted safeguards for each class. In evaluations simulating 1,000 multi-turn conversations across 100 prompts, including adversarial and infeasible requests, TopoPilot achieves a success rate exceeding 99%, compared to under 50% for baselines without comprehensive guardrails and checks.