TreeTensor: 제약 조건 기반 트리 형태 텐서를 활용하여 중첩 데이터에 대한 AI 시스템 성능 향상

TreeTensor: Boost AI System on Nested Data with Constrained Tree-Like Tensor

텐서는 현대 인공지능(AI) 시스템의 가장 기본적인 데이터 구조입니다. 텐서의 자연스러운 특성, 특히 메모리 연속성과 슬라이스 독립성은 시스템이 GPU와 같은 병렬 컴퓨팅 장치를 활용하여 데이터를 일괄적으로, 또는 공간적, 시간적 차원에서 동시에 처리할 수 있도록 합니다. 그러나 인지 AI 시스템에서 다루는 데이터는 종종 계층적 구조(즉, 중첩 데이터)를 가지며, 다양한 모달리티를 포함합니다. 이러한 데이터는 고정된 형태의 기존 텐서를 직접 사용하여 프로그래밍하기에는 불편하고 비효율적입니다. 이러한 문제를 해결하기 위해, 우리는 중첩 데이터의 주요 계산 패턴을 요약하고, 이를 기반으로 일반적인 중첩 데이터 컨테이너인 TreeTensor를 제안합니다. TreeTensor의 다양한 제약 조건 및 유틸리티를 통해, 사용자는 거의 비용 없이 TreeTensor를 사용하여 다양한 함수 및 연산을 중첩 데이터에 적용할 수 있으며, Scikit-Learn, Numpy, PyTorch와 같은 유명한 머신러닝 라이브러리도 포함됩니다. 우리의 접근 방식은 제약 조건이 적용된 트리 구조 관점을 사용하여 데이터 관계를 체계적으로 모델링하며, 비동기 실행 및 가변 길이 데이터 계산과 같은 다른 방법과 쉽게 결합하여 활용 범위를 확장할 수 있습니다. 상세한 예제 및 벤치마크 결과는 TreeTensor가 다양한 문제, 특히 현재 가장 복잡한 AI 시스템 중 하나인 StarCraftII용 AlphaStar에서 강력한 활용성을 제공할 뿐만 아니라, 오버헤드 없이 뛰어난 런타임 효율성을 보여준다는 것을 입증합니다. 저희 프로젝트는 https://github.com/opendilab/DI-treetensor 에서 확인할 수 있습니다.

Tensor is the most basic and essential data structure of nowadays artificial intelligence (AI) system. The natural properties of Tensor, especially the memory-continuity and slice-independence, make it feasible for training system to leverage parallel computing unit like GPU to process data simultaneously in batch, spatial or temporal dimensions. However, if we look beyond perception tasks, the data in a complicated cognitive AI system usually has hierarchical structures (i.e. nested data) with various modalities. They are inconvenient and inefficient to program directly with conventional Tensor with fixed shape. To address this issue, we summarize two main computational patterns of nested data, and then propose a general nested data container: TreeTensor. Through various constraints and magic utilities of TreeTensor, one can apply arbitrary functions and operations to nested data with almost zero cost, including some famous machine learning libraries, such as Scikit-Learn, Numpy and PyTorch. Our approach utilizes a constrained tree-structure perspective to systematically model data relationships, and it can also easily be combined with other methods to extend more usages, such as asynchronous execution and variable-length data computation. Detailed examples and benchmarks show TreeTensor not only provides powerful usability in various problems, especially one of the most complicated AI systems at present: AlphaStar for StarCraftII, but also exhibits excellent runtime efficiency without any overhead. Our project is available at https://github.com/opendilab/DI-treetensor.