TreeTensor: 제약된 트리 구조 텐서를 활용한 중첩 데이터 상의 AI 시스템 가속화

TreeTensor: Boost AI System on Nested Data with Constrained Tree-Like Tensor

텐서는 오늘날 인공지능(AI) 시스템에서 가장 기본적이고 필수적인 자료 구조입니다. 텐서의 고유한 특성, 특히 메모리 연속성과 슬라이스 독립성은 훈련 시스템이 GPU와 같은 병렬 연산 장치를 활용하여 데이터를 배치, 공간 또는 시간 차원에서 동시에 처리하는 것을 가능하게 합니다. 그러나 인지 작업을 넘어 살펴보면, 복잡한 인지 AI 시스템의 데이터는 일반적으로 다양한 모달리티를 가진 계층적 구조(즉, 중첩 데이터)를 가지고 있습니다. 이러한 데이터는 고정된 형태를 가진 기존의 텐서로 직접 프로그래밍하기에는 불편하고 비효율적입니다. 이 문제를 해결하기 위해, 우리는 중첩 데이터의 두 가지 주요 계산 패턴을 요약하고, 범용 중첩 데이터 컨테이너인 TreeTensor를 제안합니다. TreeTensor의 다양한 제약 조건과 매직 유틸리티를 통해, 사용자는 Scikit-Learn, Numpy, PyTorch와 같은 유명 머신러닝 라이브러리를 포함하여 임의의 함수와 연산을 거의 제로 비용으로 중첩 데이터에 적용할 수 있습니다. 우리의 접근 방식은 제약된 트리 구조 관점을 활용하여 데이터 관계를 체계적으로 모델링하며, 비동기 실행 및 가변 길이 데이터 계산과 같은 더 많은 용도로 확장하기 위해 다른 방법들과 쉽게 결합될 수 있습니다. 상세한 예제와 벤치마크는 TreeTensor가 다양한 문제, 특히 현재 가장 복잡한 AI 시스템 중 하나인 스타크래프트 II를 위한 알파스타(AlphaStar)에서 강력한 사용성을 제공할 뿐만 아니라, 어떠한 오버헤드 없이 뛰어난 런타임 효율성을 보여준다는 것을 입증합니다. 본 프로젝트는 https://github.com/opendilab/DI-treetensor 에서 확인할 수 있습니다.

Tensor is the most basic and essential data structure of nowadays artificial intelligence (AI) system. The natural properties of Tensor, especially the memory-continuity and slice-independence, make it feasible for training system to leverage parallel computing unit like GPU to process data simultaneously in batch, spatial or temporal dimensions. However, if we look beyond perception tasks, the data in a complicated cognitive AI system usually has hierarchical structures (i.e. nested data) with various modalities. They are inconvenient and inefficient to program directly with conventional Tensor with fixed shape. To address this issue, we summarize two main computational patterns of nested data, and then propose a general nested data container: TreeTensor. Through various constraints and magic utilities of TreeTensor, one can apply arbitrary functions and operations to nested data with almost zero cost, including some famous machine learning libraries, such as Scikit-Learn, Numpy and PyTorch. Our approach utilizes a constrained tree-structure perspective to systematically model data relationships, and it can also easily be combined with other methods to extend more usages, such as asynchronous execution and variable-length data computation. Detailed examples and benchmarks show TreeTensor not only provides powerful usability in various problems, especially one of the most complicated AI systems at present: AlphaStar for StarCraftII, but also exhibits excellent runtime efficiency without any overhead. Our project is available at https://github.com/opendilab/DI-treetensor.