Vous aimez l’apparence de cette robe, mais vous préférez l’avoir en vert. Vous voulez ces chaussures, mais préférez les chaussures plates aux talons. Et si vous pouviez avoir des rideaux avec le même motif que votre carnet préféré? Je ne sais pas comment Google pour ces choses, mais Belinda Zeng, chef de produit Google Search, m’a montré des exemples concrets de chacun plus tôt cette semaine, et la réponse était toujours la même: prendre une photo, puis taper un seul mot dans Google Lens.

Aujourd’hui, Google lance une version bêta uniquement américaine de la fonction Google Lens Multisearch il a taquiné en septembre dernier à son événement Search On, et bien que je n’aie vu qu’une démo approximative jusqu’à présent, vous ne devriez pas avoir à attendre longtemps pour l’essayer par vous-même: il est déployé dans l’application Google sur iOS et Androïde.

Bien qu’il s’agisse principalement de faire du shopping pour commencer – c’était l’une des demandes les plus courantes – Zeng de Google et le directeur de la recherche de la société, Lou Wang, suggèrent qu’il pourrait faire beaucoup plus que cela. « Vous pourriez imaginer que vous avez quelque chose de cassé devant vous, que vous n’avez pas les mots pour le décrire, mais que vous voulez le réparer… vous pouvez simplement taper ‘comment réparer’ », explique Wang.

En fait, cela pourrait déjà fonctionner avec certains vélos cassés, ajoute Zeng. Elle dit qu’elle a également appris à coiffer les ongles en faisant des captures d’écran de photos de beaux ongles sur Instagram, puis en tapant le mot-clé « tutoriel » pour obtenir le type de résultats vidéo qui n’apparaissaient pas automatiquement sur les médias sociaux. Vous pouvez également prendre une photo, par exemple, d’une plante de romarin et obtenir des instructions sur la façon d’en prendre soin.

« Nous voulons aider les gens à comprendre les questions naturellement », explique Wang, expliquant comment la recherche multiple s’étendra à plus de vidéos, d’images en général et même aux types de réponses que vous pourriez trouver dans une recherche textuelle Google traditionnelle.

Il semble que l’intention soit également de mettre tout le monde sur un pied d’égalité: plutôt que de s’associer à des magasins spécifiques ou même de limiter les résultats vidéo à YouTube, propriété de Google, Wang dit que cela fera apparaître les résultats de « n’importe quelle plate-forme que nous sommes en mesure d’indexer à partir du Web ouvert ».

Capture d’écran par Sean Hollister / The Verge

Mais cela ne fonctionnera pas avec tout, comme votre assistant vocal ne fonctionne pas avec tout, car il y a une infinité de demandes possibles et Google est toujours en train de déterminer l’intention. Le système devrait-il accorder plus d’attention à l’image ou à votre recherche de texte s’ils semblent contredire? Bonne question. Pour l’instant, vous avez un peu plus de contrôle: si vous préférez faire correspondre un motif, comme le carnet à feuilles, approchez-vous de lui afin que Lens ne puisse pas voir qu’il s’agit d’un ordinateur portable. Parce que rappelez-vous, Google Lens essaie de reconnaître votre image: s’il pense que vous voulez plus de cahiers, vous devrez peut-être lui dire que vous ne le faites pas.

Google espère que les modèles d’IA pourront conduire à une nouvelle ère de recherche, et il y a grandes questions ouvertes si le contexte — non juste du texte — peut l’y emmener. Cette expérience semble suffisamment limitée (elle n’utilise même pas ses derniers modèles MUM AI) pour ne pas nous donner la réponse. Mais cela semble être une astuce soignée qui pourrait aller dans des endroits fascinants si elle devenait une fonctionnalité de recherche Google de base.