2021 a été une année record pour la technologie mobile. Un rapide coup d’œil aux critiques sur CNET révèle des fonctionnalités d’appareil record dans de nombreuses catégories :

Le téléphone de jeu ASUS ROG 5, par exemple, a le « la plus longue durée de vie de la batterie de tous les téléphones Android que nous ayons jamais testés. »

Le Xiaomi Mi 11 Ultra a, « des tonnes de matériel de vantardise,  » avec les capteurs de caméra les plus grands jamais créés et un deuxième écran accrocheur sur le panneau arrière.

Ensuite, il y a le choix de l’éditeur CNET Samsung Galaxy S21 Ultra 5G, avec « les meilleures spécifications et fonctionnalités absolues ». Nos évaluateurs ont été particulièrement impressionnés par les fonctionnalités de capture d’images telles que le zoom numérique 100x et les aperçus miniatures simultanés des flux vidéo provenant des multiples caméras du S21 Ultra.

Tous ces appareils de pointe ont un point commun très important : ils fonctionnent tous sur la plate-forme mobile Qualcomm Technologies Snapdragon 888 5G.

Le rôle de l’IA

La plupart des utilisateurs ne réalisent pas que l’intelligence artificielle est la clé de l’allongement de la durée de vie de la batterie, des ajustements d’image en temps réel, du traitement du langage naturel (NLP), de la réduction du bruit, etc. Mais comment un téléphone « sait-il » sur quel élément d’une image se concentrer, ou quels sons comptent comme du « bruit » et lesquels comptent comme un « signal ? La réponse est que son processeur a « appris » des millions d’opérations similaires, tout cet apprentissage étant axé sur des cas d’utilisation mobile en temps réel.

Ce type d’apprentissage automatique fait de Snapdragon 888 un élément central des expériences mobiles. Le moteur IA Qualcomm de sixième génération est capable d’effectuer 26 000 milliards d’opérations par seconde. Le chipset optimise les fonctionnalités vocales et vidéo ainsi que les fonctions internes en même temps, conduisant à une capacité et une efficacité sans précédent. « Ce n’est pas seulement au niveau des cas d’utilisation », a expliqué Ziad Asghar, vice-président de la gestion des produits pour Qualcomm Technologies. « L’IA est également appliquée à chaque bloc technologique de la plate-forme Snapdragon, améliorant le fonctionnement du modem, le fonctionnement des caméras, la consommation d’énergie, etc.

En plus d’optimiser le matériel, Qualcomm Technologies a également fait d’énormes progrès dans la conception de modèles d’IA allégés et efficaces, afin qu’ils puissent s’exécuter rapidement sur les appareils mobiles sans sacrifier la précision. « Le logiciel est très complexe », a déclaré Asghar. « Notre Boîte à outils d’efficacité des modèles d’IA permet plus de traitement avec moins de puissance, avec un compromis de faible précision. »

Peux tu m’entendre maintenant?

Lorsque vous passez un appel téléphonique ou un appel vidéo sur un appareil alimenté par Snapdragon 888, vous remarquerez que les sons et les échos indésirables sont supprimés, les applications et les fonctions à commande vocale fonctionnent rapidement et sans problème, et les caméras se concentrent automatiquement et zooment instantanément même en filmant à 60 images par seconde. Ceux-ci sont tous activés en exécutant ou en « inférant » plusieurs « réseaux de neurones » – des ensembles massifs de calculs qui déduisent la meilleure expérience pour vous – en cours d’exécution en même temps.

Les puristes de la photographie peuvent se moquer de l’idée qu’un ordinateur prenne des décisions instantanées concernant la mise au point et la composition, mais l’IA commence avec des millions d’images d’une « expérience », puis elle apprend des photographes professionnels. « L’IA est aussi bonne que les données », a expliqué Asghar. « Pour le recadrage automatique, vous pouvez obtenir une bonne expérience [immediately], mais il y a aussi l’apprentissage par renforcement sur l’appareil… Il peut détecter le nombre de personnes dans la famille et s’adapter à l’utilisateur. De plus, le modèle neuronal apprend de vos préférences. »

Avec l’IA fonctionnant sur Snapdragon 888, les utilisateurs peuvent appliquer des filtres et des arrière-plans virtuels – même échanger des caractères et des textures – à la vidéo en temps réel. Ce type de réactivité instantanée fait également passer la réalité augmentée et virtuelle au niveau supérieur. Les utilisateurs peuvent même avoir une conversation avec quelqu’un d’un autre pays, qui parle une autre langue, la PNL traduisant les mots et les « prononçant » dans une approximation pratiquement fidèle de la voix de l’orateur.

Il faut un écosystème

Comme nous l’avons mentionné, Qualcomm Technologies fournit le matériel et les logiciels optimisés sur lesquels exécuter ces applications mobiles futuristes. Un vaste écosystème de partenaires éditeurs de logiciels indépendants (ISV) s’appuie sur cette base pour offrir des expériences nouvelles et améliorées. le Écosystème de solutions de plate-forme Qualcomm (PSE) permet aux fournisseurs de logiciels et d’applications de pré-intégrer et d’optimiser leurs solutions pour créer la meilleure expérience utilisateur possible et une différenciation des fonctionnalités pour les OEM.

« Le programme Qualcomm PSE et le SDK Qualcomm Neural Processing (kit de développement logiciel) permettent à nos ISV d’utiliser le matériel de la meilleure façon possible », a déclaré Asghar. Un exemple est celui d’ArcSoft Zoom fluide fonctionnalité pour la photographie informatique; un autre est l’utilisation de la PNL en temps réel avec des modèles organisés par Visage étreignant.

Les avantages de l’exécution de ces modèles d’IA complexes sur l’appareil – plutôt que de télécharger des données dans le cloud, de les y analyser, puis de renvoyer les résultats – sont nombreux. Premièrement, il y a moins de transmission de données, ce qui est plus économe en énergie. Deuxièmement, rester sur l’appareil signifie que les calculs sont effectués plus rapidement, avec moins de latence entre l’entrée et la sortie. Troisièmement, garder les données locales permet de garantir la confidentialité et d’éviter les fuites.

Avec l’ajout de la connectivité 5G, ce type de puissance de calcul à la « périphérie », à proximité de la source de données, a le potentiel d’accélérer l’IA pour tous les appareils connectés au cloud. Asghar a suggéré que les innovations de Qualcomm Technologies ont des applications bien au-delà des appareils mobiles, s’étendant à l’optimisation des centres de données et aux PC toujours connectés. « Si vous parlez à quelqu’un et que vous proposez une réunion, pourquoi votre ordinateur ne peut-il pas la programmer automatiquement ? » songea-t-il.

Cela peut sembler de la science-fiction, mais l’IA fonctionnant sur la plate-forme mobile Qualcomm Snapdragon 888 5G offre des expériences réelles et spectaculaires en ce moment. Pour en savoir plus sur Qualcomm Technologies, veuillez visiter www.qualcomm.com.