L’IA de Google peut désormais identifier la nourriture dans le supermarché, dans un geste conçu pour aider les malvoyants.

Il fait partie de l’application Lookout de Google, qui vise à aider les personnes malvoyantes ou non voyantes à identifier les choses qui les entourent.

Une nouvelle mise à jour a ajouté la possibilité pour une voix informatique de dire à haute voix la nourriture qu’elle pense qu’une personne tient en fonction de son apparence visuelle.

Une organisation caritative britannique pour la cécité a salué cette décision, affirmant qu’elle pourrait aider à renforcer l’indépendance des aveugles.

Google affirme que la fonctionnalité « sera capable de faire la distinction entre une boîte de maïs et une boîte de haricots verts ».

Accrocheur, pas facile

De nombreuses applications, telles que les suiveurs de calories, utilisent depuis longtemps des codes-barres de produits pour identifier ce que vous mangez. Google indique que Lookout utilise également la reconnaissance d’image pour identifier le produit à partir de son emballage.

L’application, pour les téléphones Android, contient quelque deux millions de «produits populaires» dans une base de données qu’elle stocke sur le téléphone – et ce catalogue change en fonction de l’endroit où se trouve l’utilisateur dans le monde, a déclaré un article sur le blog AI de Google.

Lors d’un test d’armoire de cuisine par un journaliste de la BBC, l’application n’a eu aucune difficulté à reconnaître une marque populaire de sauce piquante américaine ou un autre produit similaire de Thaïlande. Il pouvait également lire correctement les épices, les pots et les boîtes de conserve des supermarchés britanniques – ainsi que le favori australien importé Vegemite.

Mais il s’en sortait moins bien sur les produits frais ou les contenants aux formes irrégulières, comme les oignons, les pommes de terre, les tubes de concentré de tomates et les sacs de farine.

En cas de problème, la voix de l’application a demandé à l’utilisateur de tordre le paquet sous un autre angle – mais a toujours échoué sur plusieurs éléments.

• Un inventeur aveugle et une valise qui «  voit  »
• Domino’s Pizza battu au tribunal pour une application

Le Royal National Institute of Blind People (RNIB) du Royaume-Uni a réservé un accueil prudent à cette nouvelle fonctionnalité.

«Les étiquettes des aliments peuvent être difficiles pour toute personne ayant une déficience visuelle, car elles sont souvent conçues pour être accrocheuses plutôt que faciles à lire», a déclaré Robin Spinks de l’organisme de bienfaisance.

« Idéalement, nous aimerions que l’accessibilité soit intégrée au processus de conception des étiquettes afin qu’elles soient plus faciles à naviguer pour les personnes malvoyantes. »

Mais avec d’autres applications similaires, telles que Soyez mes yeux et NaviLens, qui sont également disponibles sur les iPhones – il « peut aider à renforcer l’indépendance des personnes malvoyantes en identifiant les produits rapidement et facilement ».

La lecture multimédia n’est pas prise en charge sur votre appareil

Lookout utilise une technologie similaire à Google Lens, l’application qui peut identifier ce que la caméra d’un smartphone regarde et montrer à l’utilisateur plus d’informations. Il avait déjà un mode qui lirait tout texte sur lequel il était pointé, et un « mode d’exploration » qui identifie les objets et le texte.

Lors du lancement de l’application l’année dernière, Google a recommandé de placer un smartphone dans une poche de chemise à l’avant ou sur une lanière autour du cou afin que la caméra puisse identifier les objets directement devant elle.

Une autre nouvelle fonction ajoutée dans la mise à jour est une fonction de numérisation de document, qui prend une photo de lettres et d’autres documents et l’envoie à un lecteur d’écran pour qu’elle soit lue à voix haute.

Google affirme également avoir apporté des améliorations à l’application en fonction des commentaires des utilisateurs malvoyants.