Le travail de Google sur la génération de texte en image se poursuit aujourd’hui avec un « Éditeur d’images” outil qui permet l’édition d’image guidée par le texte (ou l’inpainting).

…l’édition d’images guidée par le texte (TGIE) est une tâche pratique qui implique l’édition de visuels générés et photographiés plutôt que de les refaire complètement.

À un niveau élevé, Imagen Editor vous permet de soumettre une image, de choisir une région que vous souhaitez modifier/modifier, puis d’émettre une invite de texte pour cette zone spécifique. Le reste de l’image n’est pas touché.

Un exemple montre la mise en évidence du corps d’un chien, puis la demande d’une « scaphandre rouge avec une étoile blanche ». À droite, la démo ajoute une « fusée en carton », tandis que la plus impressionnante ajoute « un casque de jeu bleu ».

Google a publié plusieurs autres exemples et un document de recherche accompagnant mais autrement « ne publie pas Imagen Editor au public », citant « des préoccupations concernant une IA responsable ». Il a également introduit EditBench« une méthode qui évalue la qualité des modèles d’édition d’images. »

En termes d’applications pratiques, Google souligne comment TGIE peut permettre « une édition rapide, automatisée et contrôlable [as] une solution pratique lorsque la recréation de visuels prendrait du temps ou serait irréalisable (par exemple, peaufiner des objets dans des photos de vacances ou perfectionner des détails fins sur un chiot mignon généré à partir de zéro). Cela survient alors que Google Photos obtient une fonctionnalité Magic Editor qui exploite des éléments de l’IA générative.

Dans les produits de consommation, Imagen et d’autres modèles de texte en image de Google devraient d’abord être disponibles pour les utilisateurs dans Google Slides. Ces tests dans Workspace Labs ont récemment commencé, tandis que la génération d’images pour les arrière-plans Google Meet personnalisés a également été annoncée.

En savoir plus sur Imagen :