Hailo, un fabricant de puces IA basé en Israël, a récemment défié ses grands concurrents Intel et Google en affirmant ses nouveaux modules d’accélération IA pour les appareils de périphérie peuvent analyser et traiter les réseaux de neurones profonds plus rapidement et plus efficacement que les puces comparables d’Intel et de Google.

Les nouveaux modules d’accélération M.2 et Mini PCIe AI intègrent le processeur Hailo-8 et peuvent être utilisés en temps réel avec n’importe quel périphérique de périphérie.

Le module d’accélération M.2 AI de Hailo est capable d’utiliser un processeur intégré capable d’analyser des modèles à 26 TOPS tout en consommant 3 TOPS par watt. Image utilisée avec l’aimable autorisation de Hailo

Que signifie l’accélération de l’IA pour les scientifiques des données et les ingénieurs en matériel? Et les modules accélérateurs IA de Hailo sont-ils vraiment la meilleure option, même par rapport au module Movidius d’Intel et aux modules TPU Edge de Google?

Le but de l’accélération de l’IA

L’accélération de l’IA fait référence au matériel qui augmente la vitesse de tout module d’apprentissage automatique. L’analyse de données complexes non structurées telles que la voix, l’acoustique, les images peut être un problème coûteux et chronophage auquel les développeurs sont confrontés dans des environnements de réseaux neuronaux profonds.

Alors que les réseaux de neurones profonds sont essentiels pour analyser les données non structurées, ces réseaux ont de 50 à 150 couches, chaque couche nécessitant des milliards de calculs à traiter. C’est là que les accélérateurs IA entrent en jeu. Ces modules permettent aux données d’être traitées, calculées et analysées plus rapidement.

Processeur Hailo-8 intégré au module d’accélération AI

Les modules d’accélération IA de Hailo ont un certain effet de levier sur d’autres concurrents car ils intègrent le processeur Hailo-8 – un appareil que Hailo dit offre 26 téra-opérations par seconde (TOPS) dans les capacités de traitement de la puce et 3 TOPS par watt en consommation d’énergie.

Le module peut être branché sur n’importe quel périphérique périphérique existant avec les sockets M.2 ou Mini PCIe appropriés pour exécuter l’inférence de réseau neuronal profond en temps réel. Les ingénieurs concepteurs disposent de nombreuses façons d’utiliser les modules d’accélération AI de Hailo, car diverses prises PCIe peuvent être trouvées sur la plupart des cartes mères PC standard pour ajouter des GPU, des cartes RAID, des cartes Wi-Fi et des SSD.

Orr Danon, PDG de Hailo, explique: «Nos nouveaux modules Hailo-8 M.2 et Mini PCIe permettront aux entreprises du monde entier de créer de nouveaux produits puissants, rentables et innovants basés sur l’IA avec un court délai de mise sur le marché, tout en restant dans les contraintes thermiques des systèmes. Le rendement élevé et les performances optimales des modules Hailo sont un véritable changeur de jeu pour le marché de périphérie. « 

En plus d’incorporer un processeur d’IA pour gérer 26 billions d’opérations, le M.2 de Hailo surpasserait quelques repères de réseaux neuronaux d’Intel et de Google.

Graphique de performance de référence pour Hailo par rapport aux solutions d’accélération IA de Google et Intel. Image utilisée avec l’aimable autorisation de Hailo

Ces benchmarks couvrent une variété d’applications d’apprentissage automatique telles que la classification d’images, la reconnaissance vocale et la détection d’objets.

Hailo contre les modules Movidius Myriad d’Intel

Modules Movidius Myriad d’Intel disposent du premier Neural Compute Engine, un accélérateur matériel dédié pour l’inférence de réseau neuronal profond. Le module Movidius est équipé d’une boîte à outils, OpenVINO, qui comprend les outils de développement, les frameworks et les API nécessaires pour implémenter les charges de travail personnalisées de vision, d’imagerie et de réseau neuronal profond sur la puce.

Sur la base de l’architecture du Movidius d’Intel, le nombre maximum d’opérations d’inférence de réseau neuronal par seconde réalisables par le Neural Compute Engine est de 916 milliards d’opérations par seconde.

Les modules de référence Movidius d’Intel en termes d’images par seconde. Image utilisée avec l’aimable autorisation de Intel

Hailo n’a pas publié une liste complète de points de repère pour comparer chaque élément de ligne de module à Intel. Cependant, sur la base des données disponibles, les modules de référence de Hailo analysent les données à des images par seconde plus élevées. Par exemple, MobileNet-V2 de référence d’Intel est à 594 FPS tandis que Hailo a son MobileNet-V2 dépassant 2500 FPS.

Les modules Myriad d’Intel ont 4 TOPS de capacités de traitement dédiées à l’informatique en réseau neuronal profond. Le Neural Compute Engine s’interface directement avec la structure mémoire d’Intel pour éviter tout goulot d’étranglement de la mémoire lors du transfert de données.

Modules TPU Hailo vs Edge de Google

Le bord TPU est un petit ASIC conçu par Google qui fournit des inférences ML haute performance pour les appareils à faible consommation. Google s’est concentré sur la fourniture d’une solution d’IA de bout en bout qui pourrait être interfacée avec les appareils de périphérie et le cloud Google.

La référence de Google Edge TPU pour les modèles de vision mobile, MobileNet-V2, est presque à 400 FPS, ce qui est inférieur à Intel et nettement inférieur à Hailo.

Le Edge TPU de Google dispose d’un module de contrôle de l’alimentation intégré tout en conservant une empreinte de 10 mm x 15 mm. Image utilisée avec l’aimable autorisation de Google Coral

Un Edge TPU individuel peut effectuer à 4 TOPS de calcul de puce tout en utilisant 2 TOPS par watt, ce qui en termes d’efficacité énergétique est une meilleure option qu’Intel et Hailo. Une puce TPU Google Edge n’est disponible que sur un module accélérateur multi-puces qui est toujours compatible avec diverses cartes, ne nécessitant qu’une interface PCIe Gen 2 et USB 2.0.

Choisir un accélérateur IA adapté

Les accélérateurs d’IA augmentent la vitesse de calcul des données volumineuses, évitant les goulots d’étranglement et permettant de gagner du temps lorsque vous travaillez avec des réseaux de neurones profonds.

Les modules d’accélération IA respectifs de Hailo, Intel et Google peuvent tous s’intégrer dans des frameworks standard, tels que TensorFlow et Pytorch, tous deux pris en charge par Hailo avec son compilateur de flux de données.

Si l’application d’apprentissage automatique nécessite un module à faible consommation d’énergie, le Edge TPU de Google est la solution la plus appropriée. Les modules Movidius d’Intel peuvent être la meilleure option pour les applications ML qui nécessitent des centaines de modèles pour arriver à un modèle plus petit et défini comme des charges de travail de vision améliorée et de traitement d’image.

Si les scientifiques des données et les ingénieurs en matériel ont besoin d’un accélérateur d’intelligence artificielle avec un processeur intégré, ils pourraient se diriger vers le module M.2 de Hailo pour les applications de vision mobile lourdes telles que la détection d’objets et la classification d’images.