Suite à l’annonce de Meta (anciennement Facebook) en octobre qu’elle s’efforce de revendiquer sa position sur le métaverse, la société a annoncé aujourd’hui qu’elle avait développé le AI Research SuperCluster (RSC), qui, selon elle, est l’un des supercalculateurs d’IA les plus rapides en cours d’exécution aujourd’hui. Une fois qu’il sera entièrement construit, Meta dit que ce sera le supercalculateur opérationnel le plus rapide – la société vise à le terminer d’ici le milieu de cette année.

Le PDG Mark Zuckerberg a noté que les expériences que l’entreprise construit pour le métaverse nécessitent une énorme puissance de calcul, atteignant des quintillions d’opérations par seconde. Le RSC permettra aux nouveaux modèles d’IA d’apprendre à partir de milliers de milliards d’exemples, de comprendre des centaines de langues, et plus encore.

La société de stockage de données Pure Storage et le fabricant de puces Nvidia font partie du supercluster construit par Facebook. En particulier, Nvidia a été un acteur clé du support du métaverse, avec son produit omniverse présenté comme « métaverse pour les ingénieurs ».

Après le déploiement complet, le RSC de Meta sera la plus grande installation client de systèmes Nvidia DGX A100, a déclaré Nvidia dans son communiqué de presse aujourd’hui.

Rob Lee, directeur technique de Pure Storage, a déclaré à VentureBeat par e-mail que le RSC est important pour d’autres entreprises en dehors de Meta, car les technologies (telles que l’IA et la réalité augmentée/réalité virtuelle) qui alimentent le métaverse sont plus largement applicables et demandées dans tous les secteurs. .

Selon Lee, les décideurs techniques cherchent toujours à apprendre des praticiens de pointe, et le RSC fournit une excellente validation des composants de base qui alimentent le plus grand supercalculateur d’IA au monde.

« L’équipe de classe mondiale de Meta a compris l’intérêt d’associer les performances, la densité et la simplicité des produits Pure Storage pour alimenter les GPU Nvidia créés pour ce travail révolutionnaire repoussant les limites des performances et de l’échelle », a déclaré Lee. Il a ajouté que les entreprises de toutes tailles pourront bénéficier du travail, de l’expertise et des apprentissages de Meta pour faire progresser la manière dont elles poursuivent leurs stratégies de données, d’analyse et d’IA.

L’échelle devient un gros problème

Dans un blog publié aujourd’hui, Revendications méta que le supercalcul de l’IA est nécessaire à grande échelle. Selon Meta, la réalisation des avantages de l’apprentissage auto-supervisé et des modèles basés sur les transformateurs nécessite divers domaines – qu’il s’agisse de la vision, de la parole, du langage ou pour des applications critiques telles que l’identification de contenu préjudiciable.

L’IA à l’échelle de Meta nécessitera des solutions informatiques extrêmement puissantes capables d’analyser instantanément des quantités toujours croissantes de données. Le RSC de Meta est une percée dans le supercalcul qui conduira à de nouvelles technologies et expériences client rendues possibles par l’IA, a déclaré Lee.

« L’échelle est importante ici de plusieurs manières », a déclaré Lee. Il a noté que premièrement, Meta traite une énorme quantité d’informations sur une base continue, et donc il y a une certaine quantité d’échelle dans les performances et la capacité de traitement des données qui l’exigent.

« Deuxièmement, les projets d’IA dépendent de grands volumes de données – avec des ensembles de données plus variés et complets fournissant de meilleurs résultats. Troisièmement, toute cette infrastructure doit être gérée en fin de compte, et donc l’efficacité de l’espace et de la puissance et la simplicité de la gestion à grande échelle sont également essentielles. Chacun de ces éléments est tout aussi important, que ce soit dans un projet d’entreprise plus traditionnel ou à l’échelle de Meta », a déclaré Lee.

Résoudre les problèmes de sécurité et de confidentialité qui viennent avec le supercalcul

Au cours des dernières années, Meta a reçu plusieurs contrecoups sur ses politiques de confidentialité et de données, la Federal Trade Commission (FTC) annonçant qu’elle enquêtait sur des préoccupations importantes concernant les pratiques de confidentialité de Facebook en 2018. Meta veut s’attaquer aux problèmes de sécurité et de confidentialité dès le départ. -go, indiquant que l’entreprise protège les données dans RSC en concevant RSC à partir de zéro avec la confidentialité et la sécurité à l’esprit.

Meta affirme que cela permettra à ses chercheurs de former en toute sécurité des modèles à l’aide de données cryptées générées par l’utilisateur qui ne sont décryptées que juste avant la formation.

« Par exemple, RSC est isolé de l’Internet au sens large, sans connexions entrantes ou sortantes directes, et le trafic ne peut circuler qu’à partir des centres de données de production de Meta. Pour répondre à nos exigences en matière de confidentialité et de sécurité, l’intégralité du chemin des données depuis nos systèmes de stockage jusqu’aux GPU est cryptée de bout en bout et dispose des outils et processus nécessaires pour vérifier que ces exigences sont respectées à tout moment. dit le blog de l’entreprise.

Meta explique que les données doivent passer par un processus d’examen de la confidentialité pour confirmer qu’elles ont été correctement anonymisées avant d’être ensuite importées dans le RSC. La société affirme également que les données sont également cryptées avant de pouvoir être utilisées pour former des modèles d’IA, et les clés de décryptage sont supprimées régulièrement pour garantir que les anciennes données ne sont plus accessibles.

Pour construire ce supercalculateur, Nvidia a fourni la couche de calcul, y compris les systèmes Nvidia DGX A100 comme nœuds de calcul. Les GPU communiquent via une structure Clos à deux niveaux Nvidia Quantum 200 Gbps InfiniBand. Lee a noté que les contributions du matériel et des logiciels de Penguin Computing sont « le ciment » qui unit Penguin, Nvidia et Pure Storage. Ensemble, ces trois partenaires ont été cruciaux pour fournir à Meta une solution de calcul intensif massive.