Imagerie sur verre utilise l’intelligence artificielle pour « extraire tout le potentiel de qualité d’image du matériel des appareils photo des smartphones actuels et futurs en inversant les aberrations de l’objectif et les imperfections des capteurs ».

L’entreprise a mettre son impressionnante technologie d’IA au service du nouveau smartphone iPhone 15 Pro Maxmontrant des améliorations spectaculaires par rapport à l’objectif zoom 5x du téléphone phare.

Glass Imaging fait valoir qu’un logiciel peu brillant retient l’appareil photo téléobjectif de l’iPhone 15 Pro Max

Le iPhone 15 Pro Max téléobjectif sport un conception unique du tétraprisme et offre une distance focale équivalente à 120 mm et une ouverture f/2,8. La combinaison appareil photo et objectif est impressionnante d’un point de vue technique. Cependant, les résultats réels laissent un peu à désirer.

« Le plein potentiel de ce matériel est limité dans la mesure où le logiciel Apple fourni n’extrait pas tous les détails que cet objectif peut capturer », affirme Glass Imaging.

Dans une entrée de journal, Glass compare le traitement par défaut de l’iPhone 15 Pro Max à son traitement avancé GlassAI. Les résultats démontrent une amélioration significative de la qualité globale de l’image, notamment de meilleurs détails, clarté et précision des couleurs.

Glass affirme que même si le matériel d’Apple est impressionnant, le logiciel natif de l’iPhone « ne parvient parfois pas à exploiter toutes les capacités du matériel », ce qui peut potentiellement compromettre la qualité de l’image. Bien qu’il consacre des ressources importantes à ses algorithmes de traitement du signal d’image et de traitement d’image, Glass affirme qu ‘«il existe une marge d’amélioration significative».

Les réseaux de neurones à la rescousse

Alors, que fait Glass et comment son traitement IA améliore la qualité de l’image? Selon ses propres termes, « Glass Imaging exploite la puissance de l’intelligence artificielle pour tirer le meilleur parti des données brutes en rafale d’images, c’est-à-dire les informations non traitées du capteur capturées lors d’une prise de vue. Cette approche centrée sur l’IA permet de prendre des décisions intelligentes en matière d’amélioration de l’image, dépassant les limites des algorithmes artisanaux traditionnels.

La formation aux réseaux neuronaux est au cœur de l’approche de l’entreprise. « Dans nos laboratoires, pour chaque caméra de ce téléphone (large, ultra-large, télé, selfie), nous formons un réseau neuronal personnalisé pour une faible luminosité, une lumière vive et une super résolution (zoom) », explique Ziv Attar, PDG de Glass. PétaPixel.

« Après la formation, nous portons ces réseaux sur le chipset de l’appareil et optimisons la vitesse et la consommation d’énergie. Nos réseaux de neurones captent une rafale d’images RAW et génèrent une image entièrement traitée. Nos réseaux de neurones sont formés pour caractériser les aberrations optiques de chaque lentille à n’importe quel endroit du capteur et sont capables de corriger ces aberrations », poursuit Attar.

L’ensemble du processus de formation prend « quelques jours ».

Bien que l’entreprise ne puisse pas détailler pleinement sa « manière unique » d’« apprendre » à son IA à inverser les aberrations des lentilles (puisqu’il s’agit d’une technologie exclusive que l’entreprise commercialise activement auprès des fabricants de smartphones), Attar promet que les résultats de GlassAI sont « plus vrais et sans bruit ». par rapport aux approches de traitement traditionnelles », telles que celles utilisées par Apple.

« Les données (photons) sont là mais les iPhone et autres téléphones doivent appliquer un débruitage de couleur très agressif afin de supprimer le bruit de couleur qui est très dérangeant. Lorsqu’ils font cela, ils désaturent les couleurs sur les détails les plus fins », explique Attar.

« On ne voit pas cela dans les grandes caméras car il s’agit principalement d’un problème de petits pixels qui sont bruyants et souffrent d’une contamination croisée du signal entre des pixels voisins de couleurs différentes », poursuit-il. « Nos réseaux sont capables d’observer une vaste zone et de comprendre quels pixels se trouvent sur quel fil ou objet et de gérer la suppression du bruit de couleur de manière beaucoup plus intelligente. »

Le résultat est des informations de couleur plus précises dans l’image de sortie. Attar dit que les images originales de l’iPhone dans les exemples de Glass semblent moins colorées, en partie parce que le traitement d’image par défaut mélange les petits pixels colorés avec les pixels voisins lors du débruitage.

Glass AI « améliore fondamentalement la reconstruction des données existantes qui existent sur le capteur » et n’effectue aucune sorte de synthèse de nouvelles informations ni ne crée de « fausses » données.

Y a-t-il un inconvénient aux réseaux de neurones ?

Si cette approche de traitement de l’IA donne des résultats aussi impressionnants – comme c’est le cas – alors elle devrait être assez facile à vendre. Y a-t-il un inconvénient ?

Attar affirme qu ‘«il n’y a aucun inconvénient», mais admet que la formation de réseaux neuronaux de haute qualité est extrêmement difficile. En outre, les demandes de traitement sont relativement élevées pour gérer les réseaux neuronaux, ce que la technologie n’a pu réaliser qu’au cours « de la dernière année environ », selon ses termes.

« Il y avait des processeurs neuronaux sur les appareils Android et Apple depuis quelques années maintenant, mais ils n’étaient pas capables de gérer les opérations au niveau des pixels et n’étaient utilisés que pour la sémantique et les opérations globales comme la balance automatique des blancs, l’exposition automatique, etc. », explique Attar.

De plus, le traitement du réseau neuronal nécessite du temps pour exécuter ses opérations, même sur des appareils mobiles rapides et puissants comme l’iPhone 15 Pro Max. Cependant, le traitement est assez rapide. Une image de 12 mégapixels capturée par le téléobjectif du Pro Max prend environ une demi-seconde, explique Attar, et il affirme que le traitement standard par iPhone d’un fichier de 12 mégapixels « prend plus de temps que cela ». Donc, en pratique, le temps de traitement ne devrait pas être un inhibiteur majeur.

L’utilisateur n’a pas non plus besoin d’attendre la fin du traitement pour continuer à filmer. Cependant, il faut un certain temps pour voir le fichier de sortie final : l’image initiale à l’écran est une version de mauvaise qualité. Cependant, même pendant le traitement, Attar affirme que le photographe peut continuer à prendre des photos.

Il dit également que malgré la qualité d’image supérieure, les fichiers image sont plus petits car ils contiennent moins de bruit, et le bruit rend les fichiers plus difficiles à compresser. Alors, encore une fois, quel est le coût ici ?

« Le seul coût est qu’il faut développer des outils pour former ces réseaux : de grands laboratoires, des équipements robotiques, des tonnes de logiciels qui contrôlent la procédure de formation », explique Attar. Même si tout cela semble coûteux, cela semble réalisable pour les grandes entreprises.

Exemples supplémentaires de Glass AI et de l’iPhone 14 Pro de l’année dernière

Qu’y a-t-il dans le pipeline pour l’imagerie sur verre ?

«Nous travaillons à vendre nos logiciels aux fabricants de téléphones du monde entier. Le produit est une bibliothèque logicielle qui comprend des réseaux de neurones personnalisés pour chaque caméra d’un téléphone (selfie, large, ultra-large, télé…). Notre solution sera présente dans certains modèles de téléphones en 2024 », déclare Attar.

La société envisagera également de créer une application iPhone pour permettre aux utilisateurs finaux d’obtenir des résultats impressionnants. Cependant, il ne sera pas disponible « très prochainement », si jamais il arrive sur le marché. L’objectif principal de l’entreprise est de vendre ses services technologiques de base aux fabricants afin que son IA puisse être mise en œuvre de manière native.

Crédits image et légende : Imagerie sur verre