Google (en anglais seulement a introduit TensorStore, un framework C++ et Python open-source destiné à accélérer la conception de la lecture et de l’écriture de grands tableaux multidimensionnels.

L’informatique moderne et les applications d’apprentissage automatique utilisent fréquemment multidimensionnel jeux de données qui couvrent un seul système de coordonnées large. De tels ensembles de données sont difficiles à utiliser car les utilisateurs peuvent recevoir et écrire des données à des intervalles imprévisibles et à différentes échelles, et ils veulent souvent faire des études en utilisant de nombreux postes de travail travaillant en parallèle.

Afin d’éviter les problèmes de stockage et de manipulation des données, Google Research a créé TensorStore, une bibliothèque qui permet aux utilisateurs d’accéder à une API capable de gérer des ensembles de données volumineux sans avoir besoin de matériel puissant. Cette bibliothèque prend en charge plusieurs systèmes de stockage tels que Stockage Google Cloud, les systèmes de fichiers locaux et réseau, entre autres.

TensorStore offre un Python API qui peut être utilisé pour charger et manipuler d’énormes réseaux de données. Étant donné qu’aucune donnée réelle n’est lue ou conservée en mémoire tant que la tranche spécifique n’est pas nécessaire, des jeux de données sous-jacents volumineux arbitraires peuvent être chargés et modifiés sans avoir à stocker l’ensemble du jeu de données en mémoire.

La syntaxe pour l’indexation et la manipulation, qui est à peu près la même que celle utilisée pour NumPy , rend cela possible. TensorStore prend également en charge les vues virtuelles, la diffusion, l’alignement et d’autres fonctionnalités d’indexation avancées telles que la conversion de types de données, le sous-échantillonnage et les tableaux générés paresseusement à la volée.

TensorStore dispose également d’une API asynchrone qui permet à une opération de lecture ou d’écriture de se poursuivre en arrière-plan. Dans le même temps, un programme effectue d’autres tâches et une mise en cache en mémoire personnalisable qui réduit les interactions plus lentes du système de stockage pour les données fréquemment consultées.

Le traitement et l’analyse de grands ensembles de données numériques nécessitent beaucoup de puissance de traitement. En règle générale, cela se fait en parallélisant les activités entre un grand nombre de cœurs de processeur ou d’accélérateur dispersés sur plusieurs périphériques. L’un des principaux objectifs de TensorStore a été de permettre le traitement parallèle de jeux de données individuels tout en maintenant des performances élevées.

Les cas d’application TensorStore incluent Paume, Brain Mapping et d’autres modèles sophistiqués d’apprentissage automatique à grande échelle.