Les personnes qui utilisent Google Cloud peuvent voir les marées du HPC changer et savent que, comme nous en avons discuté il y a seulement quelques mois, il y a de fortes chances que davantage de charges de travail HPC soient transférées vers les constructeurs de cloud au fil du temps, car leur échelle dicte de plus en plus les futures conceptions de puces et de systèmes et l’économie du traitement.
Google sait également qu’il doit faire plus pour voler plus de parts de marché à ses plus grands rivaux – Amazon Web Services et le médaillé d’argent Microsoft Azure – de sorte que la société a introduit une nouvelle boîte à outils open source qui aide les ateliers HPC à construire des clusters pour la simulation et la modélisation qui sont reproductibles et flexibles.
Appelé Cloud HPC Toolkit – un nom qui a probablement permis au service marketing de Google Cloud d’économiser de l’argent – le logiciel système a une conception modulaire qui permet aux utilisateurs de tout créer, des clusters simples aux clusters avancés qui peuvent bénéficier de la capacité du cloud à découper et à découper facilement des ressources désagrégées en fonction de besoins en constante évolution – ce qu’on appelle la composabilité et ce qui commence à gagner du terrain dans le secteur du HPC.
Voici à quoi ressemblent les composants du Cloud HPC Toolkit :
Google Cloud pense que la plupart des utilisateurs voudront commencer avec les plusieurs plans prédéfinis de la boîte à outils pour les configurations d’infrastructure et de logiciels qui sont pratiques pour les environnements HPC. Mais pour ceux qui ont leurs propres préférences de configuration, ces plans peuvent être modifiés en modifiant quelques lignes si le texte dans les fichiers de configuration.
Ces Blueprints prennent en charge une variété de blocs de construction nécessaires à la création d’un environnement HPC, du calcul et du stockage à la mise en réseau et aux planificateurs. Du côté du calcul, cela inclut toutes les machines virtuelles de Google Cloud ainsi que ses instances basées sur GPU et son image de machine virtuelle HPC, basée sur la variante CentOS de Red Hat Enterprise Linux. Pour le stockage, la boîte à outils prend en charge Système DAOS d’Intel et Le système EXAScaler basé sur Lustre de DDN ainsi que Filestore, SSD locaux et stockage persistant sur Google Cloud. En outre, les Blueprints peuvent être configurés pour s’exécuter sur un réseau de 100 Gbit/s à l’aide des règles de placement de Google Cloud afin de réduire la latence entre les machines virtuelles.
Il n’y a, cependant, qu’un seul choix de planificateur disponible sur la boîte à outils pour l’instant: Slurm. Étant donné que Google Cloud prend actuellement en charge les planificateurs PBS Pro et Grid Engine d’Altair ainsi que Spectrum LSF et Slurm d’IBM, il semble raisonnable que Cloud HPC Toolkit les ajoute également.
Intel et AMD ont tous deux apporté leur soutien au Cloud HPC Toolkit, mais c’est le premier – qui tente actuellement de rattraper ce dernier pour fabriquer des processeurs plus rapides et de meilleure qualité — qui est particulièrement désireux d’utiliser la dernière offre HPC de Google Cloud comme vitrine pour les investissements croissants du géant des semi-conducteurs dans les logiciels, en particulier du côté HPC.
Parmi les plans de la nouvelle boîte à outils de Google Cloud figure une configuration prédéfinie de matériel et de logiciels pour la simulation et la modélisation des charges de travail d’Intel lui-même, qui est promue sous la marque Intel Select Solutions. Quoi qu’il se soit passé entre Google Cloud et Intel dans les coulisses, le constructeur de cloud s’est assuré de promouvoir le plan de simulation et de modélisation d’Intel comme le seul exemple détaillé dans son article de blog annonçant la boîte à outils.
Un élément clé du plan de simulation et de modélisation d’Intel est la boîte à outils oneAPI de la société, le modèle de programmation parallèle multiplateforme qui vise à simplifier le développement sur une large gamme de moteurs de calcul, y compris ceux des rivaux d’Intel.
Dans une déclarationIntel a déclaré que l’accès à oneAPI et à sa branche axée sur le HPC peut aider à optimiser les performances pour les charges de travail de simulation et de modélisation en améliorant les temps de compilation, en accélérant les résultats et en permettant aux utilisateurs de tirer parti des puces d’Intel et de ses concurrents utilisant SYCL, qui est la couche d’abstraction de programmation inter-architecture libre de droits qui sous-tend le langage Data Parallel C++ de oneAPI.
Intel et ses rivaux savent que le véritable or dans l’industrie des semi-conducteurs se trouve dans les constructeurs de cloud et les hyperscalers, nous ne serions donc pas surpris si nous voyions de plus en plus d’annonces de logiciels HPC de cet acabit dans le monde du cloud, avec Intel colporte oneAPI, AMD pousse sa plate-forme ROCm ouverteet Nvidia trouve de nouvelles façons d’étendre le logiciel Hydra qui est CUDA.
