아타노르: 자연어 기반 액션 수정 방식을 활용한 정적 시각화 상호작용 생성

Athanor: Authoring Action Modification-based Interactions on Static Visualizations via Natural Language

데이터 시각화의 효과를 높이기 위해서는 상호작용 기능이 필수적입니다. 그러나 기존의 정적 시각화 자료에 상호작용 기능을 구현하는 것은 종종 어렵습니다. 그 이유는 기존 정적 시각화 자료의 기반 코드와 데이터가 종종 제공되지 않으며, 심지어 원본 코드와 데이터가 있어도 상호작용 기능을 추가하는 데 상당한 시간과 노력이 필요하기 때문입니다. 이러한 문제를 해결하기 위해, 저희는 다중 모드 대규모 언어 모델(MLLM)과 자연어 지시를 활용하여 기존의 정적 시각화 자료를 상호작용 가능한 형태로 변환하는 새로운 방법인 아타노르(Athanor)를 제안합니다. 저희의 접근 방식은 세 가지 핵심 혁신을 포함합니다. (1) 시각화 상호작용을 사용자 행동 및 이에 따른 조작으로 매핑하는 액션 수정 상호작용 설계 공간, (2) 자연어 지시를 실행 가능한 작업 공간으로 변환하는 다중 에이전트 요구사항 분석기, (3) 정적 시각화 자료를 기반 구현 방식에 관계없이 유연하고 상호작용 가능한 표현으로 변환하는 시각화 추상화 변환기입니다. 아타노르는 사용자가 프로그래밍 없이 자연어 지시를 통해 쉽게 상호작용 기능을 생성할 수 있도록 합니다. 저희는 이 접근 방식의 효과성과 사용성을 평가하기 위해 두 가지 사례 연구와 대상 사용자를 대상으로 심층 인터뷰를 진행했습니다. 그 결과는 저희의 접근 방식이 사용자가 기존의 정적 시각화 자료에 유연한 상호작용 기능을 편리하게 추가할 수 있도록 한다는 것을 보여줍니다.

Interactivity is crucial for effective data visualizations. However, it is often challenging to implement interactions for existing static visualizations, since the underlying code and data for existing static visualizations are often not available, and it also takes significant time and effort to enable interactions for them even if the original code and data are available. To fill this gap, we propose Athanor, a novel approach to transform existing static visualizations into interactive ones using multimodal large language models (MLLMs) and natural language instructions. Our approach introduces three key innovations: (1) an action-modification interaction design space that maps visualization interactions into user actions and corresponding adjustments, (2) a multi-agent requirement analyzer that translates natural language instructions into an actionable operational space, and (3) a visualization abstraction transformer that converts static visualizations into flexible and interactive representations regardless of their underlying implementation. Athanor allows users to effortlessly author interactions through natural language instructions, eliminating the need for programming. We conducted two case studies and in-depth interviews with target users to evaluate our approach. The results demonstrate the effectiveness and usability of our approach in allowing users to conveniently enable flexible interactions for static visualizations.