Qu’est-ce qui vient de se passer? La start-up originale qui a conçu l’un des premiers algorithmes d’apprentissage automatique pour la création d’œuvres d’art est maintenant de retour avec un nouveau produit. Gen-1 peut transformer des clips vidéo en quelque chose de complètement différent, avec une qualité apparemment sans précédent par rapport à des outils similaires.

En 2021, Runway a travaillé avec des chercheurs de l’Université de Munich pour créer Stable Diffusion, l’un des principaux algorithmes d’apprentissage automatique qui a mis l’IA générative sous les projecteurs. Maintenant, la société est de retour avec Gen-1, un nouveau modèle qui peut transformer des vidéos préexistantes en suivant les invites textuelles fournies par l’utilisateur.

Comme expliqué sur le site officiel, Gen-1 peut « synthétiser de manière réaliste et cohérente de nouvelles vidéos » en basant le nouveau style sur une image ou une invite de texte. C’est comme filmer quelque chose de nouveau « sans rien filmer du tout », explique Runway Research.

Gen-1 peut en fait fonctionner dans cinq « modes » différents : Stylisation, pour transférer le style de n’importe quelle image d’invite textuelle à chaque image de la vidéo ; Storyboard, pour transformer les maquettes en rendus entièrement animés ; Masque, pour isoler les sujets de la vidéo et les modifier en fonction de l’invite (comme ajouter des points noirs à un chien) ; Render, pour transformer des rendus non texturés en « sorties réalistes » via une entrée d’image ou de texte ; et Personnalisation, pour « libérer toute la puissance de Gen-1 » en personnalisant le modèle de la vidéo.

Le modèle ML derrière Gen-1 n’est pas la première IA générative vidéo à arriver sur le marché, car de nombreuses entreprises ont déjà publié leurs propres algorithmes de création vidéo en 2022. Comparé à Make-a-Video de Meta, Phenaki de Google et Muse , cependant, le modèle de Runway peut fournir aux professionnels et aux amateurs de YouTube des outils innovants avec une meilleure qualité et des capacités complexes.

Selon les propres mots de Runway, des études d’utilisateurs ont montré que les résultats de Gen-1 sont préférés aux modèles génératifs existants pour les traductions d’image à image ou de vidéo à vidéo. Gen-1 est apparemment préféré à Stable Diffusion 1.5 par 73,53% des utilisateurs et par 88,24% des utilisateurs de Text2Live.

Runway est certainement doté de la bonne expertise en matière de rendu et de transformation vidéo, car les outils alimentés par l’IA développés par l’entreprise sont déjà utilisés pour les plateformes vidéo en ligne (TikTok, YouTube), la réalisation de films (Everything Everywhere All at Once) , et des émissions de télévision comme The Late Show avec Stephen Colbert.

Gen-1 a été développé à partir de l’expertise susmentionnée et en pensant aux clients de la création vidéo, Runway a dit, après des années d’expérience sur le montage et la post-production VFX dans le secteur du cinéma. Le nouvel outil génératif s’exécute dans le cloud et l’accès n’est désormais accordé qu’à quelques utilisateurs invités. La disponibilité générale devrait arriver dans « quelques semaines ».