Prospective : Stable Diffusion est un modèle d’apprentissage en profondeur capable de transformer des mots en images étranges et distinctement artificielles. Le réseau d’apprentissage automatique fonctionne généralement dans le cloud et il peut également être installé sur un PC costaud pour fonctionner hors ligne. Avec d’autres optimisations, le modèle peut également être exécuté efficacement sur les smartphones Android.
Qualcomm a pu adapter les capacités de création d’images de Stable Diffusion à un seul smartphone Android alimenté par un appareil SoC Snapdragon 8 Gen 2. C’est un résultat remarquable qui, selon la société basée à San Diego, n’est qu’un début pour les applications d’IA gérées sur des appareils informatiques de pointe. Aucune connexion Internet n’est requise, assure Qualcomm.
Comme expliqué sur le blog d’entreprise de Qualcomm, Stable Diffusion est un grand modèle de base utilisant un réseau neuronal formé sur une grande quantité de données à grande échelle. L’IA générative text-to-image contient un milliard de paramètres, et elle a été majoritairement « confinée » dans le cloud (ou sur un ordinateur x86 traditionnel équipé d’un GPU récent).
Qualcomm AI Research a utilisé des « optimisations d’IA complètes » pour déployer Stable Diffusion sur un smartphone Android pour la toute première fois, du moins avec le type de performances décrites par l’entreprise. L’IA full-stack signifie que Qualcomm a dû adapter l’application, le modèle de réseau neuronal, les algorithmes, les logiciels et même le matériel, même si certains compromis étaient clairement nécessaires pour faire le travail.
Avant tout, Qualcomm a dû réduire le format de données à virgule flottante à simple précision (ou FP32) utilisé par Stable Diffusion au type de données INT8 de moindre précision. En utilisant la quantification post-formation de son nouveau AI Model Efficiency Toolkit (AIMET), la société a pu augmenter considérablement les performances tout en économisant de l’énergie et en maintenant la précision du modèle à cette précision inférieure sans avoir besoin de reconversion coûteuse.
Le résultat de cette optimisation complète a été la possibilité d’exécuter Stable Diffusion sur un téléphone, générant une image de 512 x 512 pixels en moins de 15 secondes pour 20 étapes d’inférence. Il s’agit de l’inférence la plus rapide sur un smartphone et « comparable à la latence du cloud », a déclaré Qualcomm, tandis que la saisie de l’utilisateur pour l’invite textuelle reste « complètement sans contrainte ».
L’exécution de Stable Diffusion sur un téléphone n’est que le début, a déclaré Qualcomm, car la possibilité d’exécuter de grands modèles d’IA sur des appareils périphériques offre de nombreux avantages tels que la fiabilité, la latence, la confidentialité, l’efficacité et le coût. De plus, les optimisations complètes pour les accélérateurs matériels basés sur l’IA peuvent facilement être utilisées pour d’autres plates-formes telles que les ordinateurs portables, les casques XR et « pratiquement tout autre appareil alimenté par Qualcomm Technologies ».
