Le travail de Google sur la génération de texte en image continue aujourd’hui avec un « Éditeur d’images» outil qui permet l’édition d’images guidée par texte (ou inpainting).

… L’édition d’images guidées par texte (TGIE) est une tâche pratique qui implique l’édition de visuels générés et photographiés plutôt que de les refaire complètement.

À un niveau élevé, Imagen Editor vous permet de soumettre une image, de choisir une région que vous souhaitez modifier/modifier, puis d’émettre une invite de texte pour cette zone spécifique. Le reste de l’image n’est pas touché.

Un exemple montre la mise en évidence du corps d’un chien, puis la demande d’une « combinaison spatiale rouge avec une étoile blanche ». À droite, la démo ajoute une « fusée en carton », tandis que la plus impressionnante ajoute des « écouteurs de jeu bleus ».

Google a publié plusieurs autres exemples et un document de recherche qui l’accompagne mais par ailleurs, il « ne rend pas Imagen Editor accessible au public », citant des « inquiétudes concernant une IA responsable ». Il a également introduit ModifierBanc« une méthode qui évalue la qualité des modèles d’édition d’images. »

En termes d’applications pratiques, Google souligne comment TGIE peut permettre « une édition rapide, automatisée et contrôlable » [as] une solution pratique lorsque la recréation de visuels prendrait du temps ou serait irréalisable (par exemple, peaufiner des objets dans des photos de vacances ou perfectionner des détails fins sur un chiot mignon généré à partir de zéro). Cela survient alors que Google Photos se dote d’une fonctionnalité Magic Editor qui exploite des éléments de l’IA générative.

Dans les produits grand public, Imagen et d’autres modèles de conversion texte-image de Google devraient d’abord être disponibles pour les utilisateurs dans Google Slides. Ces tests dans Workspace Labs ont récemment commencé, tandis que la génération d’images pour les arrière-plans personnalisés de Google Meet a également été annoncée.

En savoir plus sur Imagen :