Prospective : Lorsque l’imagerie IA générative s’est répandue, ce n’était qu’une question de temps avant que quelqu’un ne commence à développer des outils pour créer des vidéos à l’aide de l’apprentissage automatique. Runway cherche à offrir l’une des premières implémentations réussies de la technologie, dévoilant une gamme d’outils qui, selon elle, peuvent aider les créateurs à créer des vidéos, y compris des invites de texte.

La société de création de contenu Runway a récemment révélé la prochaine étape de son ensemble d’outils pour les vidéos générées par l’IA. La suite du développeur peut générer de courts clips animés à partir d’invites de texte, d’images statiques, d’une combinaison des deux ou d’autres éléments. Un exemple utilise la saisie de texte pour créer un clip de New York vu à travers la fenêtre d’un appartement. Un autre anime une photo avec un éclairage totalement différent.

Un autre outil combine une image et une vidéo, appliquant l’esthétique visuelle de l’une à l’autre. Le site Web de Runway présente une application théorique où la technologie transforme des mondes réels rudimentaires et des maquettes 3D en rendus animés.

La nouvelle technologie, baptisée Gen-2, est la deuxième génération des outils d’IA générative de l’entreprise, que le livre blanc détails. La première passe synthétise les vidéos avec des modèles de diffusion et des structures préexistantes pour combiner les styles visuels des vidéos avec des images sans rapport.

Les vidéos n’ont pas l’air si réalistes et l’IA ne peut pas encore créer de longues vidéos à partir de zéro, mais les clips pourraient constituer des courts métrages d’art créatifs. Avec les autres outils de l’entreprise, le modèle d’IA pourrait devenir un élément précieux d’un flux de travail plus large. La société n’a pas révélé quand son texte en vidéo et d’autres outils Gen-2 seront accessibles au public. Cependant, la vidéo d’annonce (masthead) indique que cela pourrait être bientôt.

Gen-2 aussi des offres plus de deux douzaines d’autres outils qui utilisent l’IA de manière plus granulaire. En plus de générer des images, la suite de Runway peut utiliser des invites de texte pour modifier des images existantes, créer des textures pour des objets 3D et coloriser des photos en noir et blanc. Les outils de montage vidéo de la société peuvent ajouter ou soustraire des éléments de scène, interpoler des images, implémenter des ralentis, censurer des visages, générer des transcriptions et des sous-titres, extraire des informations de profondeur, suivre des mouvements et éditer de l’audio. Les fonctions liées à l’arrière-plan permettent aux utilisateurs de supprimer, de remplacer ou de brouiller l’arrière-plan d’une vidéo.