Lors de sa conférence des développeurs d’E/S, Google a annoncé aujourd’hui la préversion publique d’un cluster complet des nouveaux Pods Cloud TPU v4 de Google Cloud.
La quatrième itération de Google de ses unités de traitement tensoriel lancées lors des E/S de l’année dernière et un seul pod TPU se compose de 4 096 de ces puces. Chaque puce a une performance maximale de 275 téraflops et chaque pod promet une puissance de calcul combinée allant jusqu’à 1,1 exaflops de puissance de calcul. Google exploite désormais un cluster complet de huit de ces pods dans son centre de données de l’Oklahoma avec jusqu’à 9 exaflops de performances agrégées de pointe. Google estime que cela en fait « le plus grand hub de ML accessible au public au monde en termes de puissance de calcul cumulée, tout en fonctionnant à 90% d’énergie sans carbone ».
« Nous avons effectué des recherches approfondies pour comparer les clusters de ML qui sont divulgués publiquement et accessibles au public (c’est-à-dire fonctionnant sur le Cloud et disponibles pour les utilisateurs externes) », m’a dit un porte-parole de Google lorsque j’ai demandé à la société de clarifier son benchmark. « Ces clusters sont alimentés par des superordinateurs dotés de capacités de ML (ce qui signifie qu’ils sont bien adaptés aux charges de travail ML telles que les NLP, les modèles de recommandation, etc. Les superordinateurs sont construits à l’aide de matériel ML – par exemple, des GPU (unités de traitement graphique) – ainsi que du processeur et de la mémoire. Avec 9 exaflops, nous pensons que nous avons le plus grand cluster de ML accessible au public. »
Lors de l’I/O 2021, le PDG de Google, Sundar Pichai, a déclaré que la société disposerait bientôt de « dizaines de pods TPU v4 dans nos centres de données, dont beaucoup fonctionneront à 90% ou près de 90% d’énergie sans carbone. Et nos pods TPU v4 seront disponibles pour nos clients cloud plus tard cette année. » De toute évidence, cela a pris un peu plus de temps que prévu, mais nous sommes au milieu d’une pénurie mondiale de puces et ce sont, après tout, des puces personnalisées.
Avant l’annonce d’aujourd’hui, Google a travaillé avec des chercheurs pour leur donner accès à ces pods. « Les chercheurs ont apprécié les performances et l’évolutivité offertes par TPU v4 avec son interconnexion rapide et sa pile logicielle optimisée, la possibilité de configurer leur propre environnement de développement interactif avec notre nouvelle architecture de vm TPU et la flexibilité d’utiliser leurs frameworks préférés, y compris JAX, PyTorch ou TensorFlow », écrit Google dans l’annonce d’aujourd’hui. Pas de surprise là-bas. Qui n’aime pas le matériel d’apprentissage automatique plus rapide ?
Google affirme que les utilisateurs pourront découper et découper le nouveau cluster TPU v4 cloud et ses pods pour répondre à leurs besoins, qu’il s’agisse de l’accès à quatre puces (ce qui est le minimum pour une machine virtuelle TPU) ou à des milliers – mais pas trop non plus, car il n’y a que peu de puces à contourner.
Pour l’instant, ces pods ne sont disponibles qu’en Oklahoma. « Nous avons effectué une analyse approfondie de divers endroits et déterminé que l’Oklahoma, avec son approvisionnement exceptionnel en énergie sans carbone, est le meilleur endroit pour accueillir un tel cluster. Nos clients peuvent y accéder de presque n’importe où », a expliqué un porte-parole.
