HiLSVA: 과학 시각화를 위한 인간-중심 에이전트 시스템의 설계 및 평가

HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

대규모 언어 모델(LLM) 기반 에이전트는 과학 시각화(SciVis) 분야에서 자연어 인터페이스를 제공합니다. 그러나 기존 시스템들은 자율성을 우선시하여 인간 분석가의 통제력과 투명성을 제한하는 경향이 있습니다. 본 논문에서는 인간-중심 에이전트 시스템인 HiLSVA를 소개하며, 이는 혼합형 의사 결정 워크플로우를 지원합니다. HiLSVA는 계획 기반의 멀티 에이전트 아키텍처, 명시적인 인간 감독 기능, 단계별 추적 기능, 그리고 사용자 피드백을 통한 실시간 학습 기능을 통합합니다. 이 시스템은 자연어 인터페이스와 시각화 직접 조작을 통해 인간과 에이전트 간의 원활한 협업을 지원하며, 격리된 실행 환경을 통해 안전하고 재현 가능한 워크플로우를 보장합니다. HiLSVA는 에이전트 기반 SciVis를 인간 분석 능력을 대체하는 것이 아닌, 이를 강화하는 협력적인 과정으로 재정의합니다. 우리는 다양한 전문 지식을 가진 12명의 사용자를 대상으로 여러 자율성 수준에서 진행된 대표적인 사례 연구와 통제된 사용자 실험을 통해 HiLSVA를 평가했습니다. 결과는 혼합형 인터랙션이 다양한 사용자 숙련도 수준에서 작업 완료, 사용자 통제력 및 워크플로우 투명성을 향상시키지만, 실행 효율성과 인간 감독 간의 상충 관계가 존재함을 보여줍니다. 이러한 연구 결과는 에이전트 기반 SciVis에서의 인간 중심 설계의 중요성을 강조하며, 미래 협력 시각화 시스템 개발을 위한 지침을 제공합니다. 독자 여러분께 https://hilsva.github.io/ 에서 데모 영상, 사례 연구 및 소스 코드를 참고하시기를 권장합니다.

Large language model (LLM) agents enable natural language interaction for scientific visualization (SciVis). Still, prior systems have essentially prioritized autonomy over human analytical control, thereby limiting transparency and human oversight. We present HiLSVA, a human-in-the-loop agentic system that supports mixed-initiative SciVis workflows. HiLSVA integrates a plan-first multi-agent architecture with explicit human oversight, stepwise provenance tracking, and learn-at-test-time adaptation from user feedback. The system supports fluid handoff between humans and agents through both natural language and direct manipulation of visualizations, while sandboxed execution ensures safe, reproducible workflows. In doing so, HiLSVA reframes agentic SciVis as a collaborative process that augments, rather than replaces, human analytical reasoning. We evaluate HiLSVA through representative case studies and a controlled user study with twelve participants of varying expertise across multiple autonomy settings. Results show that mixed-initiative interaction improves task completion, user control, and workflow transparency across different levels of user expertise, while revealing a tradeoff between execution efficiency and human oversight. These findings highlight the importance of human-centered design in agentic SciVis and guide the development of future collaborative visualization systems. We encourage readers to explore our demo video, case studies, and source code at https://hilsva.github.io/.