En bref: Intel a créé une rivalité entre son nouvel accélérateur Gaudi2 et le leader du marché, maintenant âgé de deux ans, le Nvidia A100. Dans deux benchmarks adaptés à son créneau, le nouvel accélérateur au nom criard se démarque.
Gaudi2 est fabriqué pour Intel par Habana Labs, une société israélienne qu’elle a rachetée fin 2019 pour 2 milliards de dollars. Habana fabrique en fait deux types d’accélérateurs spécialisés : certains pour l’entraînement des réseaux de neurones, comme Gaudi2 ; et d’autres pour les exécuter (c’est-à-dire les « inférer »), comme Goya et Greco.
Performance
Habana et Intel ont lancé Gaudi2 en mai mais ont attendu la semaine dernière pour publier leurs scores de référence dans le public Base de données MLPerf. Dans leurs graphiques, ils comparer les scores de leur système Gaudi2 contre les scores publics des systèmes équipés de l’A100 de Nvidia et Dell.
ResNet-50 teste la capacité du matériel à former une IA pour classer les images. Le système Gaudi2 de Habana n’a pris que 18 minutes pour entraîner suffisamment l’IA pour qu’elle réussisse le test, dépassant facilement le système A100 de Nvidia, qui nécessitait près d’une demi-heure.
Le système Gaudi2 de Habana n’a pris que 17 minutes pour former le modèle BERT, battant le temps du système A100 de Nvidia d’environ une minute. BERT est un modèle de traitement du langage naturel, et dans ce test, il s’entraîne avec des articles de Wikipedia.
Pour les deux benchmarks, tous les systèmes utilisaient huit accélérateurs/GPU. Le système de Habana a associé le leur à une paire de processeurs Intel Xeon 8380 à 40 cœurs et Nvidia a utilisé deux processeurs AMD Epyc 7742 à 64 cœurs.
Caractéristiques
Gaudi2 comprend 24 TPC (cœurs de processeur tenseur) et deux MME (moteurs de multiplication matricielle) qui fonctionnent partiellement en parallèle. Il prend en charge un large éventail de types de données, notamment FP32, TF32, BF16, FP16 et FP8. Il dispose également d’un moteur multimédia dédié pour le traitement des médias audio et visuels en tant qu’entrées.
Pour la mémoire, Gaudi2 dispose de six piles de 16 Go de HBM2e qui totalisent 96 Go et 2,45 To/s de bande passante mémoire totale. A l’intérieur, il dispose d’un cache de 48 Mo. Pour la connectivité, il utilise une connexion x16 PCIe 4.0 et dispose de 24 ports RoCE2 100 Mbps (RDMA over Converged Ethernet 2).
Concurrence
Habana a clairement créé un véritable concurrent A100 pour Intel. Son timing pourrait être meilleur, étant donné que Nvidia a annoncé le H100 il y a trois mois, mais les deux sont des produits tellement différents que même s’ils peuvent rivaliser dans les benchmarks, ils ne sont peut-être pas vraiment en concurrence pour les emplacements de carte mère.
Alors que l’A100 et le H100 sont des mastodontes polyvalents, Gaudi2 est un accélérateur rationalisé essayant de faire quelque chose de différent, et il sera fascinant de voir s’il réussit ou non.
