Google a annoncé aujourd’hui le déploiement d’une nouvelle fonctionnalité de « recherche multiple » qui permet aux utilisateurs de rechercher en utilisant du texte et des images en même temps via Google Lens, la technologie de reconnaissance d’images de la société. Google (en anglais seulement d’abord taquiné la fonctionnalité en septembre dernier lors de son événement Search On et a déclaré qu’elle lancerait la fonctionnalité dans les mois à venir après les tests et l’évaluation. À partir d’aujourd’hui, la nouvelle fonctionnalité de recherche multiple est disponible en version bêta en anglais aux États-Unis.
Pour commencer, vous devez ouvrir l’application Google sur Android ou iOS, appuyer sur l’icône de l’appareil photo Lens et rechercher l’une de vos captures d’écran ou prendre une photo. Ensuite, vous pouvez balayer vers le haut et appuyer sur le bouton « + Ajouter à votre recherche » pour ajouter du texte. Google note que les utilisateurs doivent disposer des dernières versions de l’application pour accéder à la nouvelle fonctionnalité.
Avec la nouvelle fonctionnalité de recherche multiple, vous pouvez poser une question sur un objet devant vous ou affiner vos résultats de recherche par couleur, marque ou attributs visuels. Google a déclaré à TechCrunch que la nouvelle fonctionnalité a actuellement les meilleurs résultats pour les recherches d’achat, avec plus de cas d’utilisation à venir à l’avenir. Avec ce lancement bêta initial, vous pouvez également faire des choses au-delà du shopping, mais ce ne sera pas parfait pour toutes les recherches.
En pratique, c’est ainsi que la nouvelle fonctionnalité pourrait fonctionner. Disons que vous avez trouvé une robe que vous aimez mais que vous n’êtes pas fan de la couleur dans laquelle elle est disponible. Vous pouvez afficher une photo de la robe, puis ajouter le texte « vert » dans votre requête de recherche pour la trouver dans la couleur souhaitée. Dans un autre exemple, vous recherchez de nouveaux meubles, mais vous voulez vous assurer qu’ils complètent vos meubles actuels. Vous pouvez prendre une photo de votre ensemble de salle à manger et ajouter le texte « table basse » dans votre requête de recherche pour trouver une table correspondante. Ou, disons que vous avez une nouvelle plante et que vous ne savez pas comment en prendre soin correctement. Vous pouvez prendre une photo de la plante et ajouter le texte « instructions d’entretien » dans votre recherche pour en savoir plus à ce sujet.
La nouvelle fonctionnalité pourrait être particulièrement utile pour le type de requêtes avec lesquelles Google a actuellement des problèmes – où il y a un composant visuel à ce que vous recherchez qui est difficile à décrire en utilisant des mots seuls. En combinant l’image et les mots en une seule requête, Google peut avoir une meilleure chance de fournir des résultats de recherche pertinents.
« Chez Google, nous imaginons toujours de nouvelles façons de vous aider à découvrir les informations que vous recherchez, peu importe à quel point il peut être difficile d’exprimer ce dont vous avez besoin », a déclaré Google dans un article de blog sur l’annonce. « C’est pourquoi nous introduisons aujourd’hui une toute nouvelle façon de rechercher : utiliser du texte et des images en même temps. Avec multisearch sur Lens, vous pouvez aller au-delà du champ de recherche et poser des questions sur ce que vous voyez.
Google affirme que la nouvelle fonctionnalité est rendue possible par ses dernières avancées en matière d’intelligence artificielle. La société explore également les moyens par lesquels la recherche multiple pourrait être améliorée par MUM, son dernier modèle d’IA dans la recherche. Le modèle unifié multitâche, ou MUM, peut simultanément comprendre des informations dans un large éventail de formats, y compris du texte, des images et des vidéos, et dessiner des idées et des liens entre les sujets, les concepts et les idées.
L’annonce d’aujourd’hui intervient une semaine après Google a annoncé il déploie des améliorations à son modèle d’IA pour faire de la recherche Google une expérience plus sûre et qui traite mieux les requêtes sensibles, y compris celles qui concernent des sujets tels que le suicide, les agressions sexuelles, la toxicomanie et la violence domestique. Il utilise également d’autres technologies d’IA pour améliorer sa capacité à supprimer le contenu explicite ou suggestif indésirable des résultats de recherche lorsque les gens ne le recherchent pas spécifiquement.