과학 시각화 분야의 LLM 에이전트를 위한 상호작용 패러다임 탐색

Exploring Interaction Paradigms for LLM Agents in Scientific Visualization

본 논문에서는 사용자가 자연어 명령을 통해 시각화 워크플로우를 생성하는 과학 시각화(SciVis) 작업에서 다양한 유형의 대규모 언어 모델(LLM) 에이전트의 성능을 분석합니다. 구조화된 도구 사용을 갖춘 도메인 특화 에이전트, 컴퓨터 사용 에이전트, 범용 코딩 에이전트 등 세 가지 주요 상호작용 패러다임을 비교하며, 15개의 벤치마크 작업에 걸쳐 8개의 대표적인 에이전트를 평가하고 시각화 품질, 효율성, 안정성 및 계산 비용을 측정합니다. 또한, 구조화된 도구 사용을 위한 코드 스크립트 및 모델 컨텍스트 프로토콜(MCP) 또는 API 호출, 더 일반적인 상호작용을 위한 명령줄 인터페이스(CLI) 및 그래픽 사용자 인터페이스(GUI)와 같은 상호작용 방식을 분석합니다. 또한, 선택된 에이전트에서 지속적인 메모리가 미치는 영향을 연구합니다. 결과는 각 패러다임과 방식 간의 명확한 상충 관계를 보여줍니다. 범용 코딩 에이전트는 가장 높은 작업 성공률을 달성하지만, 계산 비용이 높습니다. 반면, 도메인 특화 에이전트는 더 효율적이고 안정적이지만 유연성이 떨어집니다. 컴퓨터 사용 에이전트는 개별 단계에서는 잘 수행되지만, 더 긴 다단계 워크플로우에서는 어려움을 겪으며, 이는 장기적인 계획 수립 능력이 부족하기 때문입니다. CLI 및 GUI 환경 모두에서 지속적인 메모리는 반복적인 시도에서 성능을 향상시키지만, 그 효과는 기본 상호작용 방식과 피드백 품질에 따라 달라집니다. 이러한 결과는 단일 접근 방식으로는 충분하지 않으며, 향후 SciVis 시스템은 성능, 안정성 및 유연성을 균형 있게 하기 위해 구조화된 도구 사용, 대화형 기능 및 적응형 메모리 메커니즘을 결합해야 함을 시사합니다.

This paper examines how different types of large language model (LLM) agents perform on scientific visualization (SciVis) tasks, where users generate visualization workflows from natural-language instructions. We compare three primary interaction paradigms, including domain-specific agents with structured tool use, computer-use agents, and general-purpose coding agents, by evaluating eight representative agents across 15 benchmark tasks and measuring visualization quality, efficiency, robustness, and computational cost. We further analyze interaction modalities, including code scripts and model context protocol (MCP) or API calls for structured tool use, as well as command-line interfaces (CLI) and graphical user interfaces (GUI) for more general interaction, while additionally studying the effect of persistent memory in selected agents. The results reveal clear tradeoffs across paradigms and modalities. General-purpose coding agents achieve the highest task success rates but are computationally expensive, while domain-specific agents are more efficient and stable but less flexible. Computer-use agents perform well on individual steps but struggle with longer multi-step workflows, indicating that long-horizon planning is their primary limitation. Across both CLI- and GUI-based settings, persistent memory improves performance over repeated trials, although its benefits depend on the underlying interaction mode and the quality of feedback. These findings suggest that no single approach is sufficient, and future SciVis systems should combine structured tool use, interactive capabilities, and adaptive memory mechanisms to balance performance, robustness, and flexibility.