En un mot: Des chercheurs du Bot Intelligence Group (BIG) de l’Université Carnegie Mellon (CMU) ont développé un bras robotique capable de peindre des images en fonction d’invites parlées, écrites et visuelles. L’IA est très similaire à DALL-E, sauf qu’elle peint physiquement la sortie en temps réel au lieu de produire une image numérique quasi instantanée.
Le GRAND L’équipe a nommé le robot FRIDA en clin d’œil à l’artiste mexicaine Frida Kahlo et en tant qu’acronyme de Framework and Robotics Initiative for Developing Arts. Actuellement, le robot a besoin au moins quelques entrées contextuelles et environ une heure pour préparer son style de coups de pinceau.
Les utilisateurs peuvent également télécharger une image pour « inspirer » FRIDA et influencer le résultat en fournissant des descripteurs en langage clair. Par exemple, étant donné une photo du buste d’Elon Musk et l’invite vocale « sanglots de bébé », l’IA a créé le portrait ci-dessous (en haut à gauche). Les chercheurs ont expérimenté d’autres types d’entrées, comme laisser l’IA écouter une chanson comme Abba’s Dancing Queen.
Quelques-uns de nos nouveaux travaux sur le projet FRIDA : Robot Synesthesia, peinture à partir d’apports sonores et émotionnels.https://t.co/LrqyGigg5J pic.twitter.com/ouswMrMdyh
— FRIDA Robot Peintre (@FridaRobot) 12 février 2023
Ph.D. Carnegie Mellon L’étudiant et ingénieur en chef Peter Schaldenbrand a rapidement souligné que FRIDA ne peut pas se comporter comme un véritable artiste. En d’autres termes, le robot n’exprime pas sa créativité.
« FRIDA est un système de peinture robotique, mais FRIDA n’est pas un artiste », a déclaré Schaldenbrand. « FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L’artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter. »
Les algorithmes du robot ne sont pas différents de ceux utilisés dans ChatGPT et DALL-E 2 d’OpenAI. Il s’agit d’un réseau antagoniste génératif (GAN) mis en place pour peindre des images et évaluer ses performances afin d’améliorer sa sortie. Théoriquement, à chaque peinture, FRIDA devrait mieux interpréter l’invite et son produit, mais puisque l’art est subjectif, qui peut dire ce qui est « mieux ».
Fait intéressant, FRIDA crée une palette de couleurs unique pour chaque portrait mais ne peut pas mélanger les peintures. Pour l’instant, un humain doit mélanger et fournir les bonnes couleurs. Cependant, une équipe de l’école d’architecture de la CMU travaille sur une méthode pour automatiser le mélange de peinture. Les étudiants BIG pourraient emprunter cette méthode pour rendre FRIDA totalement autonome.
Le processus de peinture du bot est similaire à celui d’un artiste et prend des heures pour générer une image complète. Le bras robotique applique des traits de peinture sur la toile tandis qu’une caméra surveille d’en haut. Parfois, les algorithmes évaluent l’image émergente pour s’assurer qu’elle crée la sortie souhaitée. S’il s’égare, l’IA s’ajuste pour l’aligner davantage sur l’invite, c’est pourquoi chaque portrait a ses propres petits défauts.
Les chercheurs du BIG ont récemment publié leurs recherches avec arXiv de l’Université Cornell. L’équipe a également maintenu un Twitter FRIDA compte depuis août 2022, avec de nombreuses créations du robot et des publications sur sa progression. Cependant, FRIDA n’est malheureusement pas accessible au public. Le prochain projet de l’équipe est de s’appuyer sur ce qu’elle a appris avec FRIDA pour développer un robot qui sculpte.
