Dans le cadre de la Journée mondiale de sensibilisation à l’accessibilité (GAAD), Google annoncé un certain nombre de mises à jour sur Android, Chrome et d’autres services, y compris une fonction de questions-réponses sur les images dans Lookout.

Légende en direct, qui génère des sous-titres en temps réel sur Android, Chrome et Google Meet, arrive sur plus d’appareils et de personnes « cet été ». Il est optimisé pour les tablettes Android avec une « nouvelle boîte de sous-titres » dans le cadre de la poussée plus large du grand écran.

De même, la capacité de répondre essentiellement à Live Caption en tapant des réponses qui seront lues à haute voix à l’appelant à l’autre bout « s’étend aux Pixel 4 et 5, ainsi qu’à d’autres appareils Android, comme certains téléphones Samsung Galaxy, et d’autres .” De même, les Pixel 4, 5 et d’autres appareils bénéficient de la prise en charge de Live Caption en français, italien et allemand.

Chercher prépare une nouvelle fonctionnalité de questions-réponses sur les images qui utilise un modèle de langage visuel Google DeepMind (Flamant) pour décrire les images qui n’ont pas de texte alternatif. À leur tour, les utilisateurs peuvent alors poser plusieurs questions sur l’image, soit par la voix, soit en tapant.

Par exemple, Lookout peut analyser une photo d’un chien courant sur une plage et générer la description suivante : « Sur cette image, je vois un chien courir sur le sable. Je peux aussi voir une balle dans sa bouche. En arrière-plan, je peux voir l’eau, les montagnes et le ciel. Quelqu’un peut alors demander : « Le chien a-t-il l’air joueur ? » Et Google répondra : « Oui, le chien est joueur. »

Après des mois de tests internes avec des personnes aveugles et malvoyantes, nous travaillons avec le Royal National Institute of Blind People (RNIB) pour inviter un nombre limité de personnes à tester cette fonctionnalité avec des plans pour la rendre disponible à encore plus les gens bientôt.

Dans PlansGoogle augmente la visibilité de l’icône de lieu accessible aux fauteuils roulants, tandis que Chrome peut « maintenant détecter les fautes de frappe d’URL et suggérer des sites Web en fonction des corrections ».

Cela augmente l’accessibilité pour les personnes dyslexiques, les apprenants en langues et toute personne qui fait des fautes de frappe en facilitant l’accès aux sites Web précédemment visités malgré les fautes d’orthographe. Cette fonctionnalité est désormais disponible sur le bureau Chrome et sera déployée sur mobile dans les mois à venir.

Talkback dans Chrome pour Android a été mis à jour pour analyser la grille d’onglets avec prise en charge des groupes d’onglets, des actions d’onglets en bloc et de la réorganisation.

Enfin, Google réitère Portez OS 4 à venir « une expérience de synthèse vocale plus rapide et plus fiable ». Il fait suite à l’ajout de deux nouveaux modes de son et d’affichage sur Wear OS 3