LLM 기반 스크립팅을 활용한 범용 하드웨어 환경에서의 페타바이트급 시계열 데이터 3D 애니메이션 구현

Animating Petascale Time-varying Data on Commodity Hardware with LLM-assisted Scripting

과학자들은 데이터의 속도와 양이 증가함에 따라 시각화에 상당한 어려움을 겪고 있으며, 종종 막대한 데이터 처리를 위해 특수 인프라와 전문 지식이 필요합니다. NASA 연구소에서 생성된 페타바이트급 기후 모델은 전담 그래픽 및 미디어 전문가 그룹과 고성능 컴퓨팅 자원을 필요로 합니다. 과학자들은 연구 결과를 커뮤니티와 반복적이고 신속하게 공유해야 하지만, 시간 소모적인 시행착오 과정은 상당한 데이터 전송 오버헤드를 발생시키고, 일반적인 후처리 시각화 작업에 할당된 시간과 자원을 훨씬 초과하여 연구 생산성을 저해합니다. 본 논문에서는 범용 워크스테이션 환경에서 페타바이트급 시계열 데이터를 3D 애니메이션으로 생성할 수 있는 사용자 친화적인 프레임워크를 소개합니다. 본 연구의 주요 기여 내용은 다음과 같습니다. (i) 애니메이션의 적응 가능한 추상화를 위한 키프레임 기반의 일반화된 애니메이션 설명자 (GAD), (ii) 클라우드 기반 저장소로부터의 효율적인 데이터 접근을 통한 데이터 관리 오버헤드 감소, (iii) 맞춤형 렌더링 시스템, (iv) 시각화 전문 지식이 없는 분야 연구자들이 관심 영역의 애니메이션을 생성할 수 있도록 LLM 기반의 대화형 인터페이스를 스크립팅 모듈로 제공합니다. 본 프레임워크의 효과를 두 가지 사례 연구를 통해 입증합니다. 첫째, 사전 지식을 기반으로 샘플링 기준을 지정하여 애니메이션을 생성하고, 둘째, 자연어 사용자 프롬프트에서 샘플링 매개변수를 파생하여 AI 기반 애니메이션을 생성합니다. 모든 경우에 대규모 NASA 기후-해양 데이터 세트를 사용하며, 데이터 크기는 1PB를 초과하지만, 1분에서 2시간 이내의 빠른 처리 시간을 달성합니다. 사용자는 몇 분 안에 애니메이션 초안을 생성하고, 최종 버전에 필요한 고해상도 데이터를 원활하게 통합할 수 있습니다.

Scientists face significant visualization challenges as time-varying datasets grow in speed and volume, often requiring specialized infrastructure and expertise to handle massive datasets. Petascale climate models generated in NASA laboratories require a dedicated group of graphics and media experts and access to high-performance computing resources. Scientists may need to share scientific results with the community iteratively and quickly. However, the time-consuming trial-and-error process incurs significant data transfer overhead and far exceeds the time and resources allocated for typical post-analysis visualization tasks, disrupting the production workflow. Our paper introduces a user-friendly framework for creating 3D animations of petascale, time-varying data on a commodity workstation. Our contributions: (i) Generalized Animation Descriptor (GAD) with a keyframe-based adaptable abstraction for animation, (ii) efficient data access from cloud-hosted repositories to reduce data management overhead, (iii) tailored rendering system, and (iv) an LLM-assisted conversational interface as a scripting module to allow domain scientists with no visualization expertise to create animations of their region of interest. We demonstrate the framework's effectiveness with two case studies: first, by generating animations in which sampling criteria are specified based on prior knowledge, and second, by generating AI-assisted animations in which sampling parameters are derived from natural-language user prompts. In all cases, we use large-scale NASA climate-oceanographic datasets that exceed 1PB in size yet achieve a fast turnaround time of 1 minute to 2 hours. Users can generate a rough draft of the animation within minutes, then seamlessly incorporate as much high-resolution data as needed for the final version.