TreeTensor：ネストされたデータを制約された木型のテンソルと共にAIシステムを強化する

テンソルは現在の人工知能 (AI) 系統における最も基本かつ重要なデータ構造です。テンソールというデータ構造の自然的な性質、特にメモリ連続性とスライス依存性から、トレーニングシステムがGPUのような並列計算機を使用して並行的にデータを同時に行き Spatial 及び Temporal ボンバーで処理しやすくなります。しかし、複雑な認知的な AI 系統のデータの場合、ネストされた構造（通常は、ネストしたデータ）が模様やモダリティに依存するので、直感的に conventional Tensor での固定形状をプログラムすることによって、それらは非常に不便で効率が悪くなります。これらについては、ネストされたデータの二つの主な計算パターンを要約し、その後は一般のネストされたデータ容器である TreeTensor を提案します。TreeTensor のさまざまな制約と魔法のユーティリティを利用して、 almost zero 效率の任意の関数や操作でネストされたデータを適用できます、例えば Scikit-Learn、Numpy および PyTorch などの有名な機械学習ライブラリなどを含むことができます。我々のアプロメッドは、制約された木構造の視点を利用してデータ間の相互作用をシステム化するように設計されており、それはさらに他の方法と組み合わせて使用することも容易です、例えば非同期実行や変長データ計算。詳細な例とベンチマークに従って TreeTensor は、特に最も複雑な AI 系統の一つが AlphaStar ディーストラック II における問題について提供する強力な可用性を提供することができますそしてそれをまた無駄なくそのパフォーマンスを向上させます。我々のプロジェクトは、このサイト https://github.com/opendilab/DI-treetensor で公開されています。

arXiv:2602.08517v1 Announce Type: new Abstract: Tensor is the most basic and essential data structure of nowadays artificial intelligence (AI) system. The natural properties of Tensor, especially the memory-continuity and slice-independence, make it feasible for training system to leverage parallel computing unit like GPU to process data simultaneously in batch, spatial or temporal dimensions. However, if we look beyond perception tasks, the data in a complicated cognitive AI system usually has hierarchical structures (i.e. nested data) with various modalities. They are inconvenient and inefficient to program directly with conventional Tensor with fixed shape. To address this issue, we summarize two main computational patterns of nested data, and then propose a general nested data container: TreeTensor. Through various constraints and magic utilities of TreeTensor, one can apply arbitrary functions and operations to nested data with almost zero cost, including some famous machine learning libraries, such as Scikit-Learn, Numpy and PyTorch. Our approach utilizes a constrained tree-structure perspective to systematically model data relationships, and it can also easily be combined with other methods to extend more usages, such as asynchronous execution and variable-length data computation. Detailed examples and benchmarks show TreeTensor not only provides powerful usability in various problems, especially one of the most complicated AI systems at present: AlphaStar for StarCraftII, but also exhibits excellent runtime efficiency without any overhead. Our project is available at https://github.com/opendilab/DI-treetensor.