Numéros de formation en intelligence artificielle (IA) basés sur la suite du nouveau Numéros de performance de référence MLPerf 0.7 sont sortis aujourd’hui (29/07/20) et une fois de plus, Nvidia remporte la couronne de la performance. Huit entreprises ont soumis des chiffres sur des systèmes basés à la fois sur des processeurs AMD et Intel et utilisant une variété d’accélérateurs d’intelligence artificielle de Google, Huawei et Nvidia. L’augmentation des performances de pointe pour chaque benchmark MLPerf par la plateforme leader était de 2,5 fois ou plus. Le nouveau benchmark a également ajouté de nouveaux tests pour d’autres charges de travail d’IA émergentes.

En bref, MLPerf est une organisation créée pour développer des références pour tester de manière efficace et cohérente des systèmes exécutant un large éventail de charges de travail d’IA, y compris la formation et le traitement des inférences. L’organisation a obtenu un large soutien de l’industrie des sociétés de semi-conducteurs et de propriété intellectuelle, des fournisseurs d’outils, des fournisseurs de systèmes et des communautés de recherche et universitaires. Lancé pour la première fois en 2018, des mises à jour et de nouveaux résultats d’analyse comparative ont été annoncés pour la formation environ une fois par an, même si l’objectif est une fois par trimestre.

L’avantage du benchmark MLPerf est non seulement de voir les progrès de chaque fournisseur, mais aussi les progrès globaux de l’industrie, d’autant plus que de nouvelles charges de travail sont ajoutées. Pour la dernière version de formation 0.7, de nouvelles charges de travail ont été ajoutées pour le traitement du langage naturel (NLP) à l’aide de représentations d’encodeur bidirectionnel à partir de transformateurs (BERT), des systèmes de recommandation utilisant des machines de recommandation d’apprentissage en profondeur (DRLM) et l’apprentissage par renforcement à l’aide de Minigo. Notez que l’utilisation de Minigo pour le renforcement peut également servir de base pour les applications de jeu IA. Les résultats de référence sont soit disponibles dans le commerce (sur site ou dans le cloud), en avant-première (produits à venir sur le marché dans les six prochains mois, ou en recherche et développement (systèmes encore en développement antérieur). Le plus important à court terme les résultats sont ceux qui sont disponibles dans le commerce ou en avant-première.Il existe une division «ouverte», mais qui n’a pas eu d’impact significatif sur le résultat global.

Les sociétés et institutions qui ont soumis les résultats comprenaient Alibaba, Dell EMC, Fujitsu, Google, Inspur, Intel, Nvidia et le Shenzhen Institute of Advanced Technology. Le plus grand nombre de soumissions est venu de Nvidia, ce qui n’est pas surprenant étant donné que l’entreprise a récemment construit son propre supercalculateur (classé n ° 7 dans le TOP500 liste des supercalculateurs et # 2 dans la Vert500 liste des supercalculateurs), qui est basé sur ses derniers GPU Ampere A100. Ce système, appelé Selene, permet à l’entreprise une flexibilité considérable pour tester différentes charges de travail et configurations système. Dans les résultats des tests MLPerf, le nombre d’accélérateurs GPU va de deux à 2048 dans la catégorie disponible dans le commerce et à 4096 dans la catégorie recherche et développement.

Les concurrents

Tous les systèmes étaient basés sur des processeurs AMD et Intel associés à l’un des accélérateurs suivants: le Google TPU v3, le Google TPU v4, le Huawei Ascend910, le Nvidia Tesla V100 (dans diverses configurations) ou le Nvidia Ampere A100. Les startups de puces comme Cerebras, Esperanto, Groq, Graphcore, Habana (une société Intel) et SambaNova étaient visiblement absentes. Cela est d’autant plus surprenant que toutes ces entreprises sont répertoriées comme contributeurs ou partisans de MLPerf. Il existe une longue liste d’autres startups de puces IA qui ne sont pas non plus représentées. Intel a soumis des chiffres de performance, mais uniquement dans la catégorie des aperçus pour ses prochains processeurs Xeon Platinum, pas pour ses accélérateurs Habana AI récemment acquis. Avec seulement Intel soumettant des nombres de processeur uniquement, il n’y a rien à comparer et les performances sont bien inférieures à celles des systèmes utilisant des accélérateurs. Il convient également de noter que Google et Nvidia étaient les seules entreprises à avoir soumis des chiffres de performance pour toutes les différentes catégories de référence, mais Google n’a soumis que des chiffres de référence complets pour le TPU v4, qui se trouve dans la catégorie Aperçu.

Et le gagnant est?

Chaque benchmark est classé en fonction du temps d’exécution du benchmark. En raison du nombre élevé de configurations système, la meilleure façon de comparer le résultat est de normaliser le temps d’exécution de chaque accélérateur IA en divisant le temps d’exécution par le nombre d’accélérateurs. Ce n’est pas parfait car les performances par accélérateur augmentent généralement avec le nombre d’accélérateurs et / ou certaines charges de travail semblent avoir des performances optimisées autour de certaines configurations système, mais les résultats semblent relativement cohérents même en comparant les performances des systèmes avec des chiffres relativement similaires d’accélérateurs. Le vainqueur clair était Nvidia. Les systèmes basés sur Nvidia ont dominé les huit critères de référence pour les solutions disponibles dans le commerce. Si l’on considère toutes les catégories, y compris l’aperçu, le Google TPU v4 avait le temps d’exécution le plus rapide par accélérateur pour les recommandations.

Dans l’ensemble, les critères de référence sont passés de 2,5x à 3,3x par rapport aux catégories de référence de la version 0.6, qui incluent la classification d’images, la détection d’objets et la traduction. Fait intéressant, le GPU de la génération précédente de Nvidia, le Tesla V100, a obtenu les meilleurs résultats dans trois catégories: traduction non récurrente, recommandation et apprentissage par renforcement, les deux dernières étant de nouvelles catégories MLPerf. Ce n’est pas complètement surprenant car l’Ampère a subi des changements importants dans l’architecture qui amélioreront également les performances du traitement des inférences. Il sera intéressant de voir comment les systèmes Ampere A100 se classent dans la prochaine génération de benchmarks d’inférence qui devraient être publiés plus tard cette année. Un autre développement à noter est l’émergence des processeurs AMD Epyc dans les meilleurs benchmarks de performance en raison de leur présence dans les nouveaux systèmes Nvidia DGX A100 et les DGX SuperPod avec les nouveaux accélérateurs Ampere A100 de Nvidia.

Où est tout le monde?

Nvidia continue de dominer le peloton, non seulement en raison de son avance en matière de GPU, mais également de son leadership dans les systèmes complets, les logiciels, les bibliothèques, les modèles formés et d’autres outils pour les développeurs d’IA. Pourtant, toutes les autres entreprises proposant des puces et des solutions d’IA proposent des comparaisons avec Nvidia sans les chiffres de référence pris en charge. MLPerf n’est pas parfait. Les résultats devraient être publiés plus d’une fois par an et les résultats devraient inclure un classement de l’efficacité (performances / watt) pour les configurations du système, deux points que l’organisation s’efforce d’atteindre. Cependant, MLPerf a été développé en tant que collaboration de l’industrie et représente la meilleure méthode d’évaluation des plates-formes d’IA. Il est temps pour tout le monde de soumettre des numéros MLPerf pour étayer leurs revendications.