Nvidia a annoncé que la super puce Nvidia GH200 Grace Hopper est en pleine production, configurée pour alimenter des systèmes qui exécutent des programmes d’IA complexes.

Egalement destinés aux charges de travail de calcul haute performance (HPC), les systèmes alimentés par le GH200 rejoignent plus de 400 configurations système basées sur les dernières architectures CPU et GPU de Nvidia, notamment Nvidia Grace, Nvidia Hopper et Nvidia Ada Lovelace, créées pour répondre à la demande croissante. pour l’IA générative.

Au salon Computex à Taïwan, Le PDG de Nvidia, Jensen Huang, révélé de nouveaux systèmes, des partenaires et des détails supplémentaires concernant la super puce GH200 Grace Hopper, qui rassemble les architectures CPU Nvidia Grace et Hopper GPU basées sur Arm en utilisant la technologie d’interconnexion Nvidia NVLink-C2C.

Cela offre une bande passante totale pouvant atteindre 900 Go/s, soit une bande passante sept fois supérieure à celle des voies PCIe Gen5 standard des systèmes accélérés traditionnels, offrant une capacité de calcul incroyable pour répondre aux applications IA et HPC génératives les plus exigeantes.

« L’IA générative transforme rapidement les entreprises, ouvre de nouvelles opportunités et accélère la découverte dans les secteurs de la santé, de la finance, des services aux entreprises et de nombreux autres secteurs », a déclaré Ian Buck, vice-président de l’informatique accélérée chez Nvidia, dans un communiqué. « Avec Grace Hopper Superchips en pleine production, les fabricants du monde entier fourniront bientôt l’infrastructure accélérée dont les entreprises ont besoin pour créer et déployer des applications d’IA génératives qui exploitent leurs données propriétaires uniques. »

Les hyperscalers mondiaux et les centres de supercalcul en Europe et aux États-Unis font partie de plusieurs clients qui auront accès aux systèmes alimentés par le GH200.

« Nous éprouvons tous la joie de ce que les modèles d’IA géants peuvent faire », a déclaré Buck lors d’un point de presse.

Des centaines de systèmes accélérés et d’instances cloud

Les fabricants taïwanais font partie des nombreux fabricants de systèmes dans le monde qui introduisent des systèmes alimentés par la dernière technologie Nvidia, notamment Aaeon, Advantech, Aetina, ASRock Rack, Asus, Gigabyte, Ingrasys, Inventec, Pegatron, QCT, Tyan, Wistron et Wiwynn.

En outre, les fabricants mondiaux de serveurs Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro et Eviden, une société d’Atos, proposent une large gamme de systèmes accélérés par Nvidia.

Les partenaires cloud pour Nvidia H100 incluent Amazon Web Services (AWS), Cirrascale, CoreWeave, Google Cloud, Lambda, Microsoft Azure, Oracle Cloud Infrastructure, Paperspace et Vultr.

Nvidia AI Enterprise, la couche logicielle de la plate-forme Nvidia AI, propose plus de 100 frameworks, modèles pré-entraînés et outils de développement pour rationaliser le développement et le déploiement de l’IA de production, y compris l’IA générative, la vision par ordinateur et l’IA vocale.

Les systèmes avec GH200 Superchips devraient être disponibles à partir de la fin de cette année.

Nvidia dévoile les spécifications du serveur MGX

Pour répondre aux divers besoins informatiques accélérés des centres de données, Nvidia a dévoilé aujourd’hui le Nvidia La spécification de serveur MGX, qui fournit aux fabricants de systèmes une architecture de référence modulaire pour créer rapidement et à moindre coût plus de 100 variantes de serveur adaptées à une large gamme d’applications d’intelligence artificielle, de calcul haute performance et d’omniverse.

ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT et Supermicro adopteront MGX, qui peut réduire les coûts de développement jusqu’à trois quarts et réduire le temps de développement de deux tiers à seulement six mois.

« Les entreprises recherchent des options de calcul plus accélérées lors de la conception de centres de données qui répondent à leurs besoins commerciaux et applicatifs spécifiques », a déclaré Kaustubh Sanghani, vice-président des produits GPU chez Nvidia, dans un communiqué. « Nous avons créé MGX pour aider les organisations à démarrer l’IA d’entreprise, tout en leur faisant économiser beaucoup de temps et d’argent. »

Avec MGX, les fabricants commencent avec une architecture système de base optimisée pour le calcul accéléré pour leur châssis de serveur, puis sélectionnent leur GPU, DPU et CPU. Les variations de conception peuvent répondre à des charges de travail uniques, telles que le HPC, la science des données, les grands modèles de langage, l’informatique de pointe, les graphiques et la vidéo, l’IA d’entreprise et la conception et la simulation.

Plusieurs tâches telles que la formation à l’IA et la 5G peuvent être gérées sur une seule machine, tandis que les mises à niveau vers les futures générations de matériel peuvent se faire sans friction. MGX peut également être facilement intégré dans les centres de données cloud et d’entreprise, a déclaré Nvidia.

QCT et Supermicro seront les premiers à être commercialisés, les conceptions MGX apparaissant en août. Le système ARS-221GL-NR de Supermicro, annoncé aujourd’hui, comprendra la superpuce CPU Nvidia GraceTM, tandis que le système S74G-2U de QCT, également annoncé aujourd’hui, utilisera la superpuce Nvidia GH200 Grace Hopper.

De plus, SoftBank prévoit de déployer plusieurs centres de données hyperscale à travers le Japon et d’utiliser MGX pour allouer dynamiquement les ressources GPU entre les applications génératives d’IA et 5G.

« Alors que l’IA générative imprègne les modes de vie des entreprises et des consommateurs, la construction de la bonne infrastructure au bon coût est l’un des plus grands défis des opérateurs de réseau », a déclaré Junichi Miyakawa, PDG de SoftBank, dans un communiqué. « Nous nous attendons à ce que Nvidia MGX puisse relever de tels défis et permettre une IA multi-usage, 5G et plus encore en fonction des exigences de charge de travail en temps réel.

MGX diffère de Nvidia HGX en ce qu’il offre une compatibilité flexible et multigénérationnelle avec les produits Nvidia pour garantir que les constructeurs de systèmes peuvent réutiliser les conceptions existantes et adopter facilement les produits de nouvelle génération sans refontes coûteuses. En revanche, HGX est basé sur un multi-GPU connecté NVLink plinthe adaptée à l’échelle pour créer le nec plus ultra des systèmes d’IA et de HPC.

Nvidia annonce le supercalculateur DGX GH200 AI

Nvidia a également annoncé une nouvelle classe de supercalculateurs d’IA à grande mémoire – un supercalculateur Nvidia DGX alimenté par les superpuces Nvidia GH200 Grace Hopper et le système de commutation Nvidia NVLink – créé pour permettre le développement de modèles géants de nouvelle génération pour les applications de langage d’IA génératives, recommandeur systèmes et charges de travail d’analyse de données.

L’espace mémoire partagé du Nvidia DGX GH200 utilise la technologie d’interconnexion NVLink avec le système de commutation NVLink pour combiner 256 Superchips GH200, leur permettant de fonctionner comme un seul GPU. Cela fournit 1 exaflop de performances et 144 téraoctets de mémoire partagée, soit près de 500 fois plus de mémoire que dans un seul système Nvidia DGX A100.

« L’IA générative, les grands modèles linguistiques et les systèmes de recommandation sont les moteurs numériques de l’économie moderne », a déclaré Huang. « Les supercalculateurs DGX GH200 AI intègrent la technologie accélérée la plus avancée de Nvidia technologies informatiques et de mise en réseau pour repousser les frontières de l’IA. »

Les superpuces GH200 éliminent le besoin d’une connexion PCIe CPU à GPU traditionnelle en combinant un processeur Nvidia Grace basé sur Arm avec un GPU Nvidia H100 Tensor Core dans le même boîtier, en utilisant des interconnexions de puces Nvidia NVLink-C2C. Cela augmente la bande passante entre le GPU et le CPU de 7x par rapport à la dernière technologie PCIe, réduit la consommation d’énergie d’interconnexion de plus de 5x et fournit un bloc de construction GPU d’architecture Hopper de 600 Go pour les supercalculateurs DGX GH200.

Le DGX GH200 est le premier supercalculateur à coupler les superpuces Grace Hopper avec le système de commutation Nvidia NVLink, une nouvelle interconnexion qui permet à tous les GPU d’un système DGX GH200 de fonctionner ensemble comme un seul. Le système de la génération précédente ne prévoyait que huit GPU à combiner avec NVLink comme un seul GPU sans compromettre les performances.

L’architecture DGX GH200 fournit 10 fois plus de bande passante que la génération précédente, offrant la puissance d’un supercalculateur IA massif avec la simplicité de programmation d’un seul GPU.

Google Cloud, Meta et Microsoft sont parmi les premiers à avoir accès au DGX GH200 pour explorer ses capacités pour les charges de travail d’IA génératives. Nvidia a également l’intention de fournir la conception DGX GH200 en tant que modèle aux fournisseurs de services cloud et autres hyperscalers afin qu’ils puissent la personnaliser davantage pour leur infrastructure.

« La création de modèles génératifs avancés nécessite des approches innovantes de l’infrastructure d’IA », a déclaré Mark Lohmeyer, vice-président de Compute chez Google Cloud, dans un communiqué. « La nouvelle échelle NVLink et la mémoire partagée de Grace Hopper Superchips résolvent les principaux goulots d’étranglement de l’IA à grande échelle et nous sommes impatients d’explorer ses capacités pour Google Cloud et nos initiatives d’IA générative. »

Les supercalculateurs Nvidia DGX GH200 devraient être disponibles d’ici la fin de l’année.

Enfin, Huang a annoncé qu’un nouveau supercalculateur appelé Nvidia Taipei-1 apportera des ressources informatiques plus accélérées en Asie pour faire progresser le développement d’applications d’IA et de métaverse industriel.

Taipei-1 étendra la portée du service de supercalcul Nvidia DGX Cloud AI dans la région avec 64 Supercalculateurs DGX H100 AI. Le système comprendra également 64 systèmes Nvidia OVX pour accélérer les la recherche et le développement, et la mise en réseau Nvidia pour alimenter un calcul accéléré efficace à n’importe quelle échelle. Détenu et exploité par Nvidia, le système devrait être mis en ligne plus tard cette année.

Les principaux instituts d’enseignement et de recherche de Taiwan seront parmi les premiers à accéder à Taipei-1 pour progresser santé, grands modèles linguistiques, science du climat, robotique, fabrication intelligente et numérique industriel jumeaux. L’Université nationale de Taiwan prévoit d’étudier l’apprentissage de la parole par un modèle de grande langue dans le cadre de son projet initial Taipei-1.

« Les chercheurs de l’Université nationale de Taiwan se consacrent à l’avancement de la science dans un large éventail de domaines. disciplines, un engagement qui nécessite de plus en plus un calcul accéléré », a déclaré Shao-Hua Sun, assistant professeur au département de génie électrique de l’Université nationale de Taiwan, dans un communiqué. « Le supercalculateur Nvidia Taipei-1 aidera nos chercheurs, nos professeurs et nos étudiants à tirer parti de l’IA et des jumeaux numériques pour relever des défis complexes dans de nombreux secteurs. »