Google Cloud a récemment annoncé la préversion de Batch, un service géré permettant d’exécuter des tâches par lots à grande échelle. Le nouveau service prend en charge les dernières instances T2A Arm et les machines virtuelles Spot pour les tâches par lots volumineuses utilisant la parallélisation des tâches.

Lot gère le provisionnement dynamique des ressources et la mise à l’échelle automatique, l’exécution des demandes en parallèle, prend en charge les scripts et les charges de travail conteneurisées et peut tirer parti des services Google Cloud natifs et des outils de traitement par lots. Shamel Jacobs, chef de produit chez Google, et Bolian Yin, ingénieur logiciel chez Google, écrivent :

Le traitement par lots est aussi vieux que l’informatique elle-même, le terme « lot » remontant aux cartes perforées utilisées par les premiers mainframes (…) Les emplois par lots sont particulièrement répandus dans des domaines tels que la recherche, la simulation, la génomique, les effets visuels, la fintech, la fabrication et l’EDA.

Le nouveau service prend en charge les types de tâches courants tels que les tableaux de tâches et les applications MPI multi-nœuds. Jacobs et Yin soulignent que Batch n’est pas le seul service sur Google Cloud à gérer le traitement par lots :

Batch est un service de traitement par lots à usage général et le dernier d’une longue liste de produits que nous avons créés au fil des ans qui traitent les tâches pour aider les entreprises à migrer leurs charges de travail vers le cloud. Ces services comprennent : Sciences de la vie dans le cloud (anciennement Google Genomics), Flux de donnéeset Tâches d’exécution dans le cloud.

Source : https://cloud.google.com/blog/products/compute/new-batch-service-processes-batch-jobs-on-google-cloud

Les concepts clés du nouveau service sont les suivants : travail, l’exécution d’un travail de calcul de l’exécution à l’achèvement, tâches qui s’exécutent sur des instances de Compute Engine, le tâche de tableau, plusieurs tâches dans une tâche qui exécutent simultanément le même exécutable et ressources, par exemple les instances Compute Engine, Cloud Storage ou les montages NFS. Lewis Carroll, Directeur chez AMD, Commentaires:

Les machines virtuelles T2D Tau avec lot devraient être un monstre pour les sciences de la vie à grande échelle, la chimie, la tarification des produits dérivés, le risque et d’autres tâches informatiques distribuées parallèles à grande échelle.

Le fournisseur de cloud a publié un tutoriel de transcodage multimédia, qui exploite Batch pour transcoder les fichiers vidéo H.264 vers VP9. Busybox (boîte à bagages), un projet d’exécution d’un conteneur en tant que tâche batch, primegen, un exemple de bout en bout de l’utilisation des workflows et de Cloud Build avec Batch et wrf, un exemple d’application pour exécuter le modèle de recherche et de prévision météorologiques dans un travail par lots avec MPIB, sont d’autres exemples disponibles sur GitHub.

Les développeurs peuvent accéder à Batch via l’API, l’outil de ligne de commande, les moteurs de flux de travail ou la console, en définissant les priorités pour les tâches et en établissant des stratégies de nouvelle tentative. Le service peut être exécuté dans le Boîte à outils HPC, le projet open source google cloud visant à déployer des environnements de calcul haute performance, avec le fournisseur de cloud Expliquant:

L’utilisation de Google Cloud Batch avec HPC Toolkit simplifie la configuration nécessaire pour provisionner et exécuter des scénarios plus complexes, par exemple la configuration d’un système de fichiers partagé et l’installation de logiciels à utiliser par les tâches Google Cloud Batch. Il permet également de partager des solutions d’infrastructure testées qui fonctionnent avec Google Cloud Batch via des plans HPC Toolkit.

Actuellement en préversion, Batch est disponible dans un sous-ensemble de régions Google Cloud : Iowa, Caroline du Sud, Oregon et Finlande. Il n’y a pas de frais supplémentaires pour l’utilisation de Batch, les clients paient pour les ressources utilisées pour exécuter les tâches.