Prospective : Depuis que la création d’images générative basée sur l’IA a pris son envol, les développeurs ont joué avec l’idée d’utiliser l’IA pour générer des vidéos. Bien que l’IA ne puisse pas encore créer des vidéos cohérentes à partir de zéro, Adobe ajoute des fonctions d’IA à ses outils de montage vidéo pour modifier considérablement le processus de production.

Adobe Apporte ses outils IA génératifs Firefly aux applications Creative Cloud comme Premiere Pro. Firefly ajoute plusieurs fonctionnalités qui pourraient aider les utilisateurs moins expérimentés à créer des vidéos de qualité professionnelle.

Firefly peut utiliser des invites de texte pour éditer automatiquement une vidéo en fonction de ce que l’IA voit dans différents plans. Il peut combiner la fonctionnalité avec la transcription audio (qu’il peut utiliser pour appliquer automatiquement des sous-titres) pour éditer des scènes en fonction du dialogue parlé.

Adobe présente un montage basé sur l’IA avec un clip montrant une femme décrivant la préparation de l’escalade. Le clip original est un plan ininterrompu d’elle parlant devant la caméra, mais Firefly reprend ses mentions de mettre des chaussures et d’appliquer de la craie et édite des plans rapprochés de ces actions en plus du dialogue correspondant.

De plus, Firefly peut utiliser des invites de texte pour modifier l’étalonnage des couleurs. La démonstration montre des phrases comme « cool morning » et « golden hour » changeant une scène pour ressembler à deux moments différents de la journée. Une autre invite de texte éclaire le visage d’un sujet.

Les utilisateurs peuvent également ajouter des logos, des graphiques, des polices ou des cartes de titre avec des invites de texte. Le texte et les logos peuvent être stylisés et animés. De plus, Firefly peut créer de la musique et des sons personnalisés libres de droits à ajouter aux vidéos.

Peut-être le plus frappant, Firefly peut lire un script pour générer des storyboards ou éditer des B-rolls. La vidéo d’Adobe montre l’outil créant des visualisations simples dessinées et CG basées uniquement sur le texte du script. Les producteurs peuvent réorganiser le texte et voir rapidement les changements visuels.

Adobe a révélé pour la première fois Firefly fin mars en tant que générateur d’images AI attaché à des applications telles qu’Adobe Express, Experience Manager, Photoshop et Illustrator. L’outil sera éventuellement intégré aux flux de travail Creative Cloud, Document Cloud, Experience Cloud et Adobe Express.

La société prend plusieurs mesures pour éviter la controverse entourant les générateurs d’images comme Stable Diffusion ou Midjourney. Adobe forme actuellement Firefly uniquement sur Adobe Stock Photos, le contenu du domaine public et le matériel sous licence ouverte. Finalement, la société donnera aux contributeurs la possibilité de ne pas former son IA et dévoilera un système pour rémunérer les créateurs de photos.