Au cours de cette semaine Événement de lancement du Pixel 6, Google a présenté une poignée d’astuces photographiques basées sur l’IA intégrées à ses nouveaux téléphones. Parmi les fonctionnalités : effacer les photobombers des arrière-plans, éliminer le flou des visages maculés et gérer plus précisément les tons chair plus foncés. Ces fonctionnalités, cependant, ne sont que la pointe d’un iceberg d’intelligence artificielle conçu pour produire les meilleures images pour les propriétaires de téléphones.

Les 599 $ Pixel 6 et 899 $ Pixel 6 Pro utilisez l’apprentissage automatique, ou ML, un type d’intelligence artificielle, de dizaines de façons lorsque vous prenez une photo. Les caractéristiques ne sont peut-être pas aussi élégantes que le flou du visage, mais elles apparaissent sur chaque photo et vidéo. Ce sont des chevaux de bataille qui touchent à tout, de la mise au point à l’exposition.

Les caméras Pixel 6 sont des moteurs d’IA autant que du matériel d’imagerie. L’IA est si omniprésente que le chef de produit Pixel Isaac Reynolds, lors d’une interview exclusive sur le fonctionnement interne des caméras Pixel, doit faire une pause pour décrire toutes les manières dont l’IA est utilisée.

« C’est une liste difficile car il y a environ 50 choses », a déclaré Reynolds. « Il est en fait plus facile de décrire ce qui n’est pas basé sur l’apprentissage. »

Toutes les intelligences de l’IA sont possibles grâce à Le nouveau processeur Tensor de Google. Google a conçu la puce en combinant une variété de cœurs de processeur d’Arm avec son propre matériel d’accélération de l’IA. De nombreuses autres conceptions de puces accélèrent l’IA, mais l’approche de Google a associé ses experts en IA à ses ingénieurs en puces pour créer exactement ce dont il avait besoin.

Les bosses de l’appareil photo deviennent une marque de fierté

Avec des photos et des vidéos si centrales dans nos vies numériques, les appareils photo sont devenus un composant essentiel des smartphones. Il y a quelques années, les concepteurs de téléphones travaillaient pour les conceptions les plus élégantes possibles, mais aujourd’hui, les gros appareils photo indiquent aux consommateurs qu’un téléphone dispose d’un matériel haut de gamme. C’est pourquoi les téléphones phares de nos jours affichent fièrement leurs gros bosses de caméra ou, dans le cas du Pixel 6, une longue barre de caméra traversant l’arrière du téléphone.

L’IA est invisible de l’extérieur mais n’est pas moins importante que le matériel de caméra utilisé. La technologie a dépassé les limites de la programmation traditionnelle. Pendant des décennies, la programmation a été un exercice de déterminisme si-ceci-alors-cela. Par exemple, si l’utilisateur a activé le mode sombre, donnez au site Web un texte blanc sur fond noir.

Avec l’IA, les scientifiques des données forment un modèle d’apprentissage automatique sur une immense collection de données du monde réel, et le système apprend lui-même les règles et les modèles. Pour convertir la parole en texte, un modèle d’IA apprend à partir d’innombrables heures de données audio accompagnées du texte correspondant. Cela permet à l’IA de gérer la complexité du monde réel qui est très difficile avec la programmation traditionnelle.

Lecture en cours: Regarde ça:

Premières impressions des nouveaux Pixel 6 et 6 Pro

9:02

La technologie de l’IA est une nouvelle direction pour les années de travail de Google dans le domaine de la photographie informatique, le mariage des données d’un appareil photo numérique avec le traitement informatique pour des améliorations telles que la réduction du bruit, les modes portrait et les paysages à plage dynamique élevée.

La caméra AI de Google

Parmi les façons dont le Pixel 6 utilise l’IA :

• Avec un modèle appelé FaceSSD, l’IA reconnaît les visages dans une scène afin de définir la mise au point et la luminosité, entre autres utilisations. Les téléphones modifient également géométriquement les formes du visage, de sorte que les gens n’ont pas les têtes oblongues courantes lorsqu’ils sont positionnés près des bords des prises de vue grand angle.
• Pour la vidéo, le Pixel 6 utilise l’IA pour suivre les sujets.
• L’IA stabilise les vidéos pour contrer le mouvement de la caméra des mains tremblantes.
• Lors de la prise d’une photo, l’IA segmente une scène en différentes zones pour des modifications d’édition individuelles. Par exemple, il reconnaît le ciel pour une exposition appropriée et une réduction du bruit pour éliminer les taches gênantes.
• Le Pixel 6 reconnaît qui vous avez déjà photographié pour améliorer les futures prises de vue de ces personnes.
• La technologie HDRnet de Google applique la technologie basée sur l’IA de l’entreprise pour les photos fixes aux images vidéo. Cela donne aux vidéos de meilleurs attributs, tels que l’exposition et la couleur.
• Pour les prises de vue Night Sight, une technique de faible luminosité mise au point par Google qui peut même photographier les étoiles, l’IA à accélération matérielle juge le meilleur équilibre entre les temps d’exposition longs et la netteté.

Chaque année, Google étend ses utilisations de l’IA. Les exemples précédents incluent un mode portrait pour flouter les arrière-plans et Zoom super résolution pour agrandir des sujets éloignés.

En plus de cela, il y a les nouvelles fonctionnalités photo et vidéo optimisées par l’IA dans le Pixel 6 : Real Tone pour refléter avec précision la peau des personnes de couleur; Face Unblur affine les visages autrement maculés par le mouvement ; Le mode mouvement ajoute un flou de mouvement aux éléments en mouvement d’une scène comme des trains ou des cascades ; et Magic Eraser pour effacer les éléments gênants d’une scène.

Un meilleur matériel de caméra aussi

Pour tirer le meilleur parti des débuts de son premier processeur de téléphone Tensor, Google a également investi dans un matériel de caméra amélioré. Cela devrait produire une meilleure qualité d’image qui est à la base de tout le traitement qui se produit par la suite.

Le Pixel 6 et le Pixel 6 Pro ont les mêmes principaux appareils photo grand-angle et ultra-larges. Le Pro ajoute un téléobjectif 4x. En termes d’objectifs d’appareil photo traditionnels, ils ont des équivalents de distance focale de 16 mm, 25 mm et 104 mm, a déclaré Alex Schiffhauer, le chef de produit Pixel qui supervise le matériel. C’est 0,7x, 1x et 4x dans l’interface de l’appareil photo.

L’appareil photo principal, le cheval de bataille du téléphone, possède un capteur 2,5 fois plus grand que celui du Pixel 5 de l’année dernière pour de meilleures capacités de collecte de la lumière. C’est un capteur de 50 mégapixels, mais il produit des images de 12 mégapixels car Google combine des groupes de 2×2 pixels en un seul pixel efficace pour réduire le bruit et améliorer la couleur et la plage dynamique.

La caméra ultra-large a obtenu des objectifs améliorés par rapport à l’année dernière, a déclaré Schiffhauer. Il n’a pas un champ de vision aussi large que les caméras ultra-larges 13 mm de l’iPhone, mais Google a voulu éviter la perspective particulière qui devient plus apparente lorsque la distance focale de l’objectif se raccourcit. Bien sûr, certains photographes aiment cette nouveauté, mais pour Google, « Nous voulons que les choses paraissent naturelles lorsque vous les photographiez », a déclaré Schiffhauer.

L’appareil photo le plus inhabituel est le téléobjectif du Pixel 6 Pro, une conception de « périscope » pour insérer une distance focale relativement grande dans un téléphone mince. Dans la plupart des appareils photo pour téléphones, le capteur d’image repose à plat dans le corps de l’appareil photo, mais l’objectif 4X utilise d’abord un prisme pour rediriger la lumière à 90 degrés dans le corps de l’appareil photo afin de s’adapter au trajet de lumière relativement long dont les téléobjectifs ont besoin.

La caméra 4x est volumineuse, mais en fait, c’est le capteur de caméra principal inhabituellement grand qui explique l’épaisseur de la barre de caméra du Pixel 6, a déclaré Schiffhauer.

Matériel, logiciel et IA

Le logiciel traditionnel de Google bénéficie également d’une mise à niveau dans les nouveaux téléphones Pixel.

Par exemple, Super Res Zoom, qui peut utiliser à la fois l’IA et des techniques de calcul plus traditionnelles pour zoomer numériquement sur les photos, bénéficie d’une mise à niveau cette année. Au cours des années précédentes, la technologie collectait un peu plus de détails de couleur sur la scène en comparant les différences entre plusieurs images, mais maintenant, elle varie également l’exposition pour de meilleurs détails, a déclaré Schiffhauer.

Le processus fondamental de prise d’une photo typique sur un Pixel n’a pas changé. Avec un processus appelé HDR+, l’appareil photo capture jusqu’à 12 images, la plupart d’entre elles considérablement sous-exposées, puis les mélange. Cela permet à un capteur d’image relativement petit de surmonter les lacunes de la plage dynamique et du bruit, vous permettant ainsi de prendre une photo d’une personne devant un ciel lumineux.

C’est une technique assez bonne qu’Apple l’a adoptée pour ses iPhones. Mais Google mélange également jusqu’à trois cadres d’exposition plus longs pour un meilleur détail des ombres.

Avec HDR+, AI et des modules de caméra améliorés, les téléphones incarnent la stratégie à trois volets de Google, a déclaré Schiffhauer, « pour innover à l’intersection du matériel, des logiciels et de l’apprentissage automatique ».